[发明专利]一种结合自然梯度的概率主组件在线学习方法

权利要求书

1.一种结合自然梯度的概率主组件在线学习方法，其特征在于，包括：模型建模单元、优化目标构建单元、及优化问题求解单元；

所述模型建模单元通过对传统的概率主组件模型引入自然梯度；

所述优化目标构建单元通过似然函数构建优化目标；

所述优化问题求解采用EM算法，引入自然梯度，使用单个样本进行参数更新。

2.根据权利要求1所述的建模单元，其特征在于，引入自然梯度代替传统的梯度；

所述模型假设观测向量样本点x⁽ⁱ⁾由隐向量z⁽ⁱ⁾生成，从隐变量z的先验分布p(z)中采样z⁽ⁱ⁾，根据采样z⁽ⁱ⁾利用相应的条件概率分布p(x|z)生成观测向量x⁽ⁱ⁾；

所述模型变量具体如下，x表示观测向量，z表示隐向量，p(z)表示隐向量z的先验概率分布，p(x|z)表示相应的条件概率分布；

所述建模模型的联合概率分布形式为：p(x，z)＝p(z)p(x|z)。

3.根据权利要求1所述的优化目标构建单元，根据观测数据集X＝{x₁，x₂，…x_N}，其中N表示数据集规模，训练所述模型计算出模型参数，完备数据集X的对数似然函数为

4.根据权利要求1所述的优化问题求解单元，其特点在于，对于所述的优化问题，采用EM算法进行求解，引入自然梯度，使用单个的样本对参数进行更新。

E步：对ln p(X，Z|θ)求关于p(Z|X，θ^old)的期望，即：

其中计算E[z_n]和是该步骤的关键。根据后验概率分布计算可得：

M步：是最大化E[ln p(X，Z|μ，W，δ²)]更新模型参数：

计算参数

此时引入自然梯度，使用单个样本更新模型参数：