[发明专利]基于协方差的高斯混合模型参数分离方法

摘要

一种基于协方差的高斯混合模型参数分离方法，是对混合高斯模型参数估计问题的算法通常是基于期望最大(ExpectationMaximization)给出的。在混合高斯模型的因素协方差矩阵已知,因素各分量独立的前提下,本专利给出了基于协方差矩阵的机器学习算法,简称CVB(CovarianceBased)算法。在上述条件成立情况下，实验表明本专利提出的基于协方差的算法优于期望最大算法。

主权项

1.一种基于协方差的高斯混合模型参数分离方法，其特征在于：基于协方差的高斯混合模型学习算法不妨设X_i＝(X_i1,…，X_it)，i＝1，…，s都是概率空间(Ω,F,p)上独立的t维正态分布随机变量，并且X_i1,X_i2,…，X_it也是相互独立的，设X＝X₁UX₂U…UX_s是s个t维正态分布随机变量的混合随机变量，假设已知各个随机变量的协方差矩阵：Σ_i＝(E((X_ij-μ_ij)(X_ik-μ_ik)))_t×t依据X,Σ_i求μ_i＝(μ_i1,μ_i2,…，μ_it)，其中μ_ij＝E(X_ij)，是分量的数学期望，研究问题为:已知X＝X₁U…UX_s和协方差矩阵Σ_i,i＝1,s，X_i的各分量独立，且满足正态分布，求μ_i＝(μ_i1,…，μ_t)，i＝1，…，s，给出似然函数如下：定义1似然函数：L=ΣxikΣxijΣj≠kΣlΣi(xij-μlj)(xik-μlk)π(i,j,k,l)F(X=(...,xij,xik,...))+ΣxijΣjΣiΣl(xij-μlj)2π(i,j,j,l)F(X=(...,xij,...))]]>其中i＝1,，n，j，k＝1，…，t，l＝1，…，s，π(i,j,k,l)=p(Xij=xij,Xik=xik|μl)Σl=1sp(Xij=xij,Xik=xik|μl)]]>为边缘分布函数，为描述方便,简记:F₂(x_ij,x_ik)＝F(X＝(…·，x_ij，…，x_ik，…))F₁(x_ij)＝F(X＝(…，x_ij，…))当j≠k时，记θ(i,j,k,l)=Δ∫xij-12Δxij+12Δ∫xik-12Δxik+12Δe(xij-μlj)22σlj2+(xik-μlk)22σlk2dxijdxik]]>其中Δ为算法的计算精度，当j＝k时，记为了使用似然估计方法，近似认为F₂(x_ij,…，x_ik)及π(i,j,k,l)是关于μ_l,l＝1,2,…,s的常数，在这个近似假定下,对L求偏导如下:∂L∂μlj=-ΣiΣxikΣj≠k(xik-μlk)π(i,j,k,l)F2(xij,xik)-2Σi(xij-μlj)π(i,j,j,l)F1(xij)]]>可得:∂L∂μlj0⇔-ΣiΣxikΣj≠k(xik-μlk)π(i,j,k,l)F2(xij,xik)=2Σi(xij-μlj)π(i,j,j,l)F2(xij,xik)⇔2μljΣiπ(i,j,j,l)F1(xij)=2Σixijπ(i,j,j,l)F1(xij)+ΣiΣxikΣj≠k(xik-μlk)π(i,j,k,l)F2(xij,xik)⇔μljΣiπ(i,j,j,l)F1(xij)=Σixijπ(i,j,j,l)F1(xij)+12ΣiΣxikΣj≠k(xik-μlk)π(i,j,k,l)F2(xij,xik)]]>可得:μlj′=(Σixijπ(i,j,j,l)F1(xij)+12ΣiΣxikΣj≠k(xik-μlk)π(i,j,k,l)F2(xij,xik))Σiπ(i,j,j,l)F1(xlj)---(A)]]>以上μ′_ij作为似然估计后的新值，算法1CVB(Covariance Based)算法A.给定初值向量μ_i,i＝1,2,…,sB.利用A式求向量μ′_i,i＝1,2,…,sC.将第二步结果代入第一步,直到收敛。