HyperAI
Command Palette
Search for a command to run...
百科
机器学习术语表:探索关键AI和ML概念的定义与解释
Search for a command to run...
机器学习术语表:探索关键AI和ML概念的定义与解释
偏差-方差困境指无法同时降低偏差和方差，只能在两者之间取得均衡。 在模型中，若想降低偏差，便会增加模型的复杂度，防止欠拟合；但同时又不能让模型太复杂而导致方差增加，造成过拟合。因此在模型的复杂度上，需要找到一个平衡点，可 […]
「偏差-方差分解」是从偏差和方差的角度解释学习算法泛化性能的工具，具体定义如下： 假设存在 K 个数据集，每个数据集都是从一个分布 p(t,x) 中独立的抽取出来的 (t 代表要预测的变量，x 代表特征变量) 。 在不同 […]
定义： 期望输出与真实标记的差别称为偏差 (bias) 下图可以很好的说明偏差与方差的关系：
类间散度矩阵用于表示各样本点围绕均值的散布情况。 数学定义
定义 贝叶斯网络，是目前不确定知识表达和推理领域最有效的理论模型之一。贝叶斯网络, 由代表变量节点及连接这些节点有向边构成。 节点代表随机变量，节点间的有向边代表了节点间的互相关系，用条件概率进行表达关系强度，没有父节点 […]
基本概念 贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是： 已知类条件概率密度参数表达式和先验概率 利用贝叶斯公式转换成后验概率 根据后验概率大小进行决策分类 相关公式 设 D1，D2，……，Dn 为样本 […]
为最小化整体风险，在样本上可使风险 R(c|x) 最小的类别标记，即 其中 h∗ 便是贝叶斯最优分类器。
在模型选择中, 通常从一组候选模型中选择一个「最优」模型，然后使用这个选定的「最优」模型进行预测。 不同于单一最优模型, 贝叶斯模型平均会给每个模型赋予权重, 并进行加权平均确定最终的预测值。其中，给某个模型赋予的权重是 […]
对每个样本 x，若 h 能最小化条件风险 R(h(x)|x)，则总体风险也将被最小化。这就产生了贝叶斯判定准则（Bayes decision rule）：为最小化总体风险，只需在每个样本上选择哪个能使条件风险 R(c|x […]
BN 是一套正则化方法，可以加速大型卷积网络的训练速度，同时提升收敛后的分类准确率。 BN 在用于神经网络某层时，会对每一个 mini-batch 数据的内部进行标准化处理，使输出规范化到 N(0,1) 的正态分布，减少 […]
在集成学习中，按组产生的「个体学习器」存在同质现象，其中这类学习器被称为基学习器，对应的学习算法被称为基学习算法。
长短期记忆（英语：Long Short-Term Memory，LSTM）是一种时间递归神经网络（RNN），论文首次发表于 1997 年。由于独特的设计结构，LSTM 适合于处理和预测时间序列中间隔和延迟非常长的重要事件 […]
信息熵适用于度量信息量规模的一个量，由香农于 1948 年提出，其借用了热力学中熵的概念，将信息中排除了冗余后的平均信息量称为信息熵，并给出了相关的数学表达式。 信息熵的三条性质 单调性：事件发生的概率越高，其携带的信息 […]
知识表征是指知识的表示和描述，其关心代理人 Agent 如何合理利用相关知识，这是一门将思考作为计算过程的研究。 严格来说，知识表征和知识推理是同一研究领域密切相关的两个概念，但实际上知识表征也被用于指代包含推理的广义概 […]
指数损失函数是 AdaBoost 算法中常用的损失函数，其函数表达式为指数形式，示意图如下。 常见损失误差 指数损失 Exponential Loss：主要用于 Adaboost 集成学习算法； 铰链损失 H […]
机器学习领域里面，真相指监督学习中，训练集对分类结果的准确设定值，一般被用于误差估算和效果评价。 监督学习中，标注数据通常以 ( x , t ) 的形式出现，其中 x 表示输入数据，t 表示标注，正确的标注便是 Grou […]
误差-分歧分解指将集成后的泛化误差分解开的过程，可以用下式表示： $latex {E= \overline {E}- \overline {A}}$ 该式中左边 E 表示集成后的泛化误差，右侧 $latex {\over […]
MCMC 是一种基于马尔科夫链从随机分布取样的算法，其通过在概率空间中随机采样以近似兴趣参数的后验分布。 MCMC 基础理论为马尔科夫过程，在相关算法中，为了在一个指定分布上采样，可根据马尔科夫过程，先从任意状态出发模拟 […]
演化算法是一种通用问题求解方法，其借鉴生物界的自然选择和自然遗传机制发展。 基本方法： 采用简单的编码技术表示各种复杂结构，利用进行简单的遗传操作和优胜劣汰的自然选择指导学习、确定搜索方向； 采用种群的方式组织搜索，使得 […]
遗传算法 GA 是计算数学中用于解决最优化问题的搜索算法，它是进化算法的一种，进化算法最初借鉴了进化生物学中的一些现象，其中包括遗传、突变、自然选择及杂交等。 遗传算法通常以计算机模拟的方式实现，对于一个最优化问题，在有 […]
增益率通常指信息增益率，其表示节点的信息与节点分裂信息度量的比值，增益率通常作为属性选择的方法之一，另外两种常见的方式是信息增益和基尼指数。 增益率公式如下： $latex {GainRatio{ \left( {R} […]
希尔伯特空间即完备的内积空间，可理解为带有内积的完备向量空间。 尔伯特空间基于有限维欧几里得空间，可看做是后者的推广，其不局限于实数和有限的维数，但又不是完备性。与欧几里得空间一样，希尔伯特空间也是内积空间，且有距离和角 […]
隐马尔科夫模型 HMM 是关于时序的概率模型，其描述由隐藏马尔科夫链随机生成的不可观测状态随机序列，再由各个状态生成一个可观测及产生观测随机序列的过程。 隐马尔科夫模型是统计模型，其被用于描述一个含有隐含未知参数的马尔科 […]
隐藏层指多级前馈神经网络中，除输入层和输出层之外的层，隐藏层不直接接受外界信号，也不直接向外界发送信号，仅仅当数据被非线性分离时才需要。 隐藏层上的神经元可采取多种形式，例如最大池化层和卷积层等，均会执行不同的数学功能， […]
偏差-方差困境指无法同时降低偏差和方差，只能在两者之间取得均衡。 在模型中，若想降低偏差，便会增加模型的复杂度，防止欠拟合；但同时又不能让模型太复杂而导致方差增加，造成过拟合。因此在模型的复杂度上，需要找到一个平衡点，可 […]
「偏差-方差分解」是从偏差和方差的角度解释学习算法泛化性能的工具，具体定义如下： 假设存在 K 个数据集，每个数据集都是从一个分布 p(t,x) 中独立的抽取出来的 (t 代表要预测的变量，x 代表特征变量) 。 在不同 […]
定义： 期望输出与真实标记的差别称为偏差 (bias) 下图可以很好的说明偏差与方差的关系：
类间散度矩阵用于表示各样本点围绕均值的散布情况。 数学定义
定义 贝叶斯网络，是目前不确定知识表达和推理领域最有效的理论模型之一。贝叶斯网络, 由代表变量节点及连接这些节点有向边构成。 节点代表随机变量，节点间的有向边代表了节点间的互相关系，用条件概率进行表达关系强度，没有父节点 […]
基本概念 贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是： 已知类条件概率密度参数表达式和先验概率 利用贝叶斯公式转换成后验概率 根据后验概率大小进行决策分类 相关公式 设 D1，D2，……，Dn 为样本 […]
为最小化整体风险，在样本上可使风险 R(c|x) 最小的类别标记，即 其中 h∗ 便是贝叶斯最优分类器。
在模型选择中, 通常从一组候选模型中选择一个「最优」模型，然后使用这个选定的「最优」模型进行预测。 不同于单一最优模型, 贝叶斯模型平均会给每个模型赋予权重, 并进行加权平均确定最终的预测值。其中，给某个模型赋予的权重是 […]
对每个样本 x，若 h 能最小化条件风险 R(h(x)|x)，则总体风险也将被最小化。这就产生了贝叶斯判定准则（Bayes decision rule）：为最小化总体风险，只需在每个样本上选择哪个能使条件风险 R(c|x […]
BN 是一套正则化方法，可以加速大型卷积网络的训练速度，同时提升收敛后的分类准确率。 BN 在用于神经网络某层时，会对每一个 mini-batch 数据的内部进行标准化处理，使输出规范化到 N(0,1) 的正态分布，减少 […]
在集成学习中，按组产生的「个体学习器」存在同质现象，其中这类学习器被称为基学习器，对应的学习算法被称为基学习算法。
长短期记忆（英语：Long Short-Term Memory，LSTM）是一种时间递归神经网络（RNN），论文首次发表于 1997 年。由于独特的设计结构，LSTM 适合于处理和预测时间序列中间隔和延迟非常长的重要事件 […]
信息熵适用于度量信息量规模的一个量，由香农于 1948 年提出，其借用了热力学中熵的概念，将信息中排除了冗余后的平均信息量称为信息熵，并给出了相关的数学表达式。 信息熵的三条性质 单调性：事件发生的概率越高，其携带的信息 […]
知识表征是指知识的表示和描述，其关心代理人 Agent 如何合理利用相关知识，这是一门将思考作为计算过程的研究。 严格来说，知识表征和知识推理是同一研究领域密切相关的两个概念，但实际上知识表征也被用于指代包含推理的广义概 […]
指数损失函数是 AdaBoost 算法中常用的损失函数，其函数表达式为指数形式，示意图如下。 常见损失误差 指数损失 Exponential Loss：主要用于 Adaboost 集成学习算法； 铰链损失 H […]
机器学习领域里面，真相指监督学习中，训练集对分类结果的准确设定值，一般被用于误差估算和效果评价。 监督学习中，标注数据通常以 ( x , t ) 的形式出现，其中 x 表示输入数据，t 表示标注，正确的标注便是 Grou […]
误差-分歧分解指将集成后的泛化误差分解开的过程，可以用下式表示： $latex {E= \overline {E}- \overline {A}}$ 该式中左边 E 表示集成后的泛化误差，右侧 $latex {\over […]
MCMC 是一种基于马尔科夫链从随机分布取样的算法，其通过在概率空间中随机采样以近似兴趣参数的后验分布。 MCMC 基础理论为马尔科夫过程，在相关算法中，为了在一个指定分布上采样，可根据马尔科夫过程，先从任意状态出发模拟 […]
演化算法是一种通用问题求解方法，其借鉴生物界的自然选择和自然遗传机制发展。 基本方法： 采用简单的编码技术表示各种复杂结构，利用进行简单的遗传操作和优胜劣汰的自然选择指导学习、确定搜索方向； 采用种群的方式组织搜索，使得 […]
遗传算法 GA 是计算数学中用于解决最优化问题的搜索算法，它是进化算法的一种，进化算法最初借鉴了进化生物学中的一些现象，其中包括遗传、突变、自然选择及杂交等。 遗传算法通常以计算机模拟的方式实现，对于一个最优化问题，在有 […]
增益率通常指信息增益率，其表示节点的信息与节点分裂信息度量的比值，增益率通常作为属性选择的方法之一，另外两种常见的方式是信息增益和基尼指数。 增益率公式如下： $latex {GainRatio{ \left( {R} […]
希尔伯特空间即完备的内积空间，可理解为带有内积的完备向量空间。 尔伯特空间基于有限维欧几里得空间，可看做是后者的推广，其不局限于实数和有限的维数，但又不是完备性。与欧几里得空间一样，希尔伯特空间也是内积空间，且有距离和角 […]
隐马尔科夫模型 HMM 是关于时序的概率模型，其描述由隐藏马尔科夫链随机生成的不可观测状态随机序列，再由各个状态生成一个可观测及产生观测随机序列的过程。 隐马尔科夫模型是统计模型，其被用于描述一个含有隐含未知参数的马尔科 […]
隐藏层指多级前馈神经网络中，除输入层和输出层之外的层，隐藏层不直接接受外界信号，也不直接向外界发送信号，仅仅当数据被非线性分离时才需要。 隐藏层上的神经元可采取多种形式，例如最大池化层和卷积层等，均会执行不同的数学功能， […]