高斯混合模型 GMM 基于高斯概率密度函数，它能够平滑的近似任意形状的密度分布，由于 GMM 具有多种模型，其划分精细的特点使得它可被用于复杂对象建模。

假设有一批观察数据 $latex {X\text{ }=\text{ }{ \{ {x\mathop{{}}\nolimits\_{{1}},x\mathop{{}}\nolimits\_{{2}},…,x\mathop{{}}\nolimits\_{{n}}} \} }}$latexX = {x_1,x_2,…,x_n} ，其在 d 维空间中的分布不是椭球状，那么就不适合以单一高斯密度来描述，若点均由单高斯分布生成，通过将不同分布的数据点混在一起，这种分布方式便是高斯混合分布。

从数学的角度来看，数据的概率分布密度函数可通过加权函数表示：

$latex {p{ \left( {x\mathop{{}}\nolimits\_{{i}}} \right) }\text{ }=\text{ }{\mathop{ \sum }\nolimits\_{{j=1}}^{{M}}{a\mathop{{}}\nolimits\_{{j}}N\mathop{{}}\nolimits\_{{j}}{ \left( {x\mathop{{}}\nolimits\_{{i}}; \mu \mathop{{}}\nolimits\_{{j}}, \Sigma \mathop{{}}\nolimits\_{{j}}} \right) }}}}$latexp(x_i) = ∑_j=1Ma_jN_j(x_i;μ_j,Σ_j)

其中 $latex {{\mathop{ \sum }\nolimits\_{{j=1}}^{{M}}{a\mathop{{}}\nolimits\_{{j}}}} \text{ }=\text{ } 1}$latex∑_j=1Ma_j = 1 ，且 $latex {N\mathop{{}}\nolimits\_{{j}}{ \left( {x; \mu \mathop{{}}\nolimits\_{{j}}, \Sigma \mathop{{}}\nolimits\_{{j}}} \right) }\text{ }=\text{ }\frac{{1}}{{\sqrt{{{ \left( {2 \pi } \right) }\mathop{{}}\nolimits^{{m}}{ \left| { \Sigma \mathop{{}}\nolimits\_{{j}}} \right| }}}}}exp{ \left[ {-\frac{{1}}{{2}}{ \left( {x\text{ }-\text{ } \mu \mathop{{}}\nolimits\_{{j}}} \right) }\mathop{{}}\nolimits^{{T}} \Sigma \mathop{{}}\nolimits\_{{j}}\mathop{{}}\nolimits^{{-1}}{ \left( {x\text{ }-\text{ } \mu \mathop{{}}\nolimits\_{{j}}} \right) }} \right] }}$latexN_j(x;μ_j,Σ_j) = (2π)m∣Σ_j∣​1​exp[−21​(x − μ_j)TΣ_j−1(x − μ_j)] 表示第 j 个单高斯函数的混合函数模型。

理论上 GMM 可拟合出任意类型的分布，通常用于解决同一集合下多个不同的分布的情况。