[发明专利]应用于随机点模式有限混合模型吉布斯参数采样方法

权利要求书

1.应用于随机点模式有限混合模型吉布斯参数采样方法，其特征在于，该方法具体是：

步骤(1).构建随机点模式有限混合模型；

具有K个随机源的点模式混合模型表示为：

f(X_n|Θ)＝π₁f(X_n|θ₁)+π₂f(X_n|θ₂)+…+π_Kf(X_n|θ_K)；X_n表示第n个随机点模式观测数据，n＝1,2,…,N，N为随机点模式观测数据数量，表示R的有限集空间，R为实数空间；

点模式混合模型的参数集Θ＝{π₁,π₂,…,π_K,θ₁,θ₂,…,θ_K}∈(R₊×Θ)^K，R₊表示正实数空间；{θ₁,θ₂,…,θ_K}为随机点模式分布函数中的参数变量,{π₁,π₂,…,π_K}为混合权重，π_k是第k分布元的混合权重，并且满足π_k≥0，

步骤(2).构建随机点模式似然函数；

对于独立的第n个随机点模式观测数据似然函数表示为：是相互独立的X_n的似然函数，f(x_n|θ_k)表示X_n中的单点数据x_n的分布函数；缺失变量e_n＝{e_n,1,e_n,2,…,e_n,K}，e_n,k为缺失变量中的第k维缺失变量，k＝1,2,…,K，用来指示点模式中单点数据x_n的点模式类别；e_n与X_n组成完全数据(X_n,e_n),X_1:N表示N个随机点模式观测数据的集合，e_1:N表示N个缺失变量的集合；

点模式混合模型的参数后验分布表示为：p(Θ)为参数的先验分布，p(Θ|X)为参数的后验分布，正则常量表示随机点模式的似然函数；

对于得到的第n个随机点模式观测数据的第i个数据x_n,i，x_n,i∈X_n，定义一个K维的指示变量，每一维指示了混合分布中的一个分布元，K维的缺失变量只有一维为1，其他各维为0，表示为e_n＝[e_n,1,…,e_n,K]^T，并且满足e_n,k∈{0,1}，其中e_n,k＝1表示数据x_n由分布元f(x_n|θ_k)产生；以高斯混合分布作为点模式的特征分布，相应点模式参数集为θ_k＝{ρ_k,μ_k,Σ_k}，其中ρ_k是基数,μ_k是均值,Σ_k是协方差阵；

步骤(3).构建随机点模式有限混合模型参数先验分布；

在高斯混合情况下，先验参数为根据贝叶斯公式将先验分布p(Θ)分解：p(Θ)＝p(π_1:K)p(ρ_1:K|π_1:K)p(Σ_1:K|ρ_1:K,π_1:K,μ_1:K)p(μ_1:K|ρ_1:K,π_1:K,Σ_1:K)；采用狄利克雷分布作为分类分布的共轭先验；

如果各分布元比例未知，采用等值狄利克雷分布：

基数l_k表示第k个随即点模式的基数，基数的先验分布服从泊松分布；

协方差的逆矩阵的先验服从威希特分布W(V,β)表示关于参数V和β的威希特分布，V是一个正定矩阵，β是自由度；

均值采用高斯分布作为RPP-FMM均值的共轭先验，是每个随机点模式的已知均值；

步骤(4).根据模型参数先验分布，得到模型参数的后验分布；

后验混合权重服从狄利克雷分布,后验均值服从高斯分布,后验方差服从威希特分布；

参数的后验分布混合权重{π₁,π₂,…,π_K}满足狄利克雷分布：

p(π₁,π₂…,π_K)＝Dir(α₁+l₁,α₂+l₂,…,α_K+l_K)；常数α_k＞0，l_k是属于第k个随机分布元观测数据的个数，k＝1,2,…,K；

缺失变量{e_n,1,…,e_n,K}根据Bayes公式来估计缺失数据：

f(x_n|θ_k)表示随机点模式观测数据X_n中的单点数据x_n的分布函数，ρ_k表示第k个随机点模式观测数据的基数，表示第k个随机点模式观测数据每个维度上的指示变量值的和；

基数分布：

协方差Σ_k，协方差的逆矩阵服从威希特分布：其中α₀和β₀是正常数,两个调节参数M₀＞0，N₀＞0；

均值μ_k满足参数为{ξ_k,∑_k}的高斯分布，从下式中采样：

p(μ_k)＝N(μ_k；ξ_k,Σ_k)，ξ_k为高斯分布的均值，Σ_k为高斯分布的协方差；

步骤(5).采用吉布斯采样算法和贝叶斯信息准则相结合的采样算法，估计混合分布中分布元个数以及模型参数值；

贝叶斯信息准则定义为：BIC(m_k,Θ_k,X_k)＝-2logL(Θ_k,m_k|X_k)+M_klnn_k；其中，M_k是独立参数的个数，logL(Θ_k,m_k|X_k)表示参数集Θ_k和元素个数m_k的对数似然函数；

M_k＝3m_k+2，

在可供选择的模型类中，使贝叶斯信息达到最小的那个模型即为可取模型，可取模型的参数估计推导为：

参数m_k,Θ_k从BIC(m_k,Θ_k)的最小似然函数中获得，得到参数集Θ_k以及分布元个数m_k；

利用参数集Θ_k和分布元个数m_k，根据吉布斯采样算法估计出模型参数值。

2.如权利要求1所述的应用于随机点模式有限混合模型吉布斯参数采样方法，其特征在于，步骤(5)中吉布斯采样算法估计出模型参数值的具体方法是：

a.初始化从条件密度p(θ_i|θ_-i)中采样；

b.从中采样，得到依次类推，从中采样得到

c.实现从到的跳变；

d.重复a-c，得到一条马尔可夫链；

马尔可夫链中的稳定点即是分布中的极值点，作为最终的模型参数估计值。