[发明专利]基于协方差的高斯混合模型参数分离方法

权利要求书

1.一种基于协方差的高斯混合模型参数分离方法，其特征在于：

基于协方差的高斯混合模型学习算法

不妨设X_i＝(X_i1,…，X_it)，i＝1，…，s都是概率空间(Ω,F,p)上独立的t维正态分布随机变量，并且X_i1,X_i2,…，X_it也是相互独立的，设X＝X₁UX₂U…UX_s是s个t维正态分布随机变量的混合随机变量，假设已知各个随机变量的协方差矩阵：Σ_i＝(E((X_ij-μ_ij)(X_ik-μ_ik)))_t×t依据X,Σ_i求μ_i＝(μ_i1,μ_i2,…，μ_it)，其中μ_ij＝E(X_ij)，是分量的数学期望，

研究问题为:已知X＝X₁U…UX_s和协方差矩阵Σ_i,i＝1,s，X_i的各分量独立，且满足正态分布，求μ_i＝(μ_i1,…，μ_t)，i＝1，…，s，

给出似然函数如下：

定义1似然函数：

L=ΣxikΣxijΣj≠kΣlΣi(xij-μlj)(xik-μlk)π(i,j,k,l)F(X=(...,xij,xik,...))+ΣxijΣjΣiΣl(xij-μlj)2π(i,j,j,l)F(X=(...,xij,...))]]>

其中

i＝1,，n，j，k＝1，…，t，l＝1，…，s，

π(i,j,k,l)=p(Xij=xij,Xik=xik|μl)Σl=1sp(Xij=xij,Xik=xik|μl)]]>为边缘分布函数，

为描述方便,简记:

F₂(x_ij,x_ik)＝F(X＝(…·，x_ij，…，x_ik，…))

F₁(x_ij)＝F(X＝(…，x_ij，…))

当j≠k时，记

θ(i,j,k,l)=Δ∫xij-12Δxij+12Δ∫xik-12Δxik+12Δe(xij-μlj)22σlj2+(xik-μlk)22σlk2dxijdxik]]>

其中Δ为算法的计算精度，当j＝k时，记

为了使用似然估计方法，近似认为F₂(x_ij,…，x_ik)及π(i,j,k,l)是关于μ_l,l＝1,2,…,s的常数，在这个近似假定下,对L求偏导如下:

∂L∂μlj=-ΣiΣxikΣj≠k(xik-μlk)π(i,j,k,l)F2(xij,xik)-2Σi(xij-μlj)π(i,j,j,l)F1(xij)]]>可得:

∂L∂μlj0⇔-ΣiΣxikΣj≠k(xik-μlk)π(i,j,k,l)F2(xij,xik)=2Σi(xij-μlj)π(i,j,j,l)F2(xij,xik)⇔2μljΣiπ(i,j,j,l)F1(xij)=2Σixijπ(i,j,j,l)F1(xij)+ΣiΣxikΣj≠k(xik-μlk)π(i,j,k,l)F2(xij,xik)⇔μljΣiπ(i,j,j,l)F1(xij)=Σixijπ(i,j,j,l)F1(xij)+12ΣiΣxikΣj≠k(xik-μlk)π(i,j,k,l)F2(xij,xik)]]>可得:

μlj′=(Σixijπ(i,j,j,l)F1(xij)+12ΣiΣxikΣj≠k(xik-μlk)π(i,j,k,l)F2(xij,xik))Σiπ(i,j,j,l)F1(xlj)---(A)]]>

以上μ′_ij作为似然估计后的新值，

算法1CVB(Covariance Based)算法

A.给定初值向量μ_i,i＝1,2,…,s

B.利用A式求向量μ′_i,i＝1,2,…,s

C.将第二步结果代入第一步,直到收敛。