[发明专利]词袋处理模型的训练方法及装置、词袋处理方法及装置

权利要求书

1.一种词袋处理模型的训练方法，所述词袋处理模型包括后验分布模型，所述后验分布模型包括第一词袋、第一标签、第一隐变量和第二隐变量；所述第一隐变量为所述第一词袋的特征遮罩，所述第二隐变量为所述第一标签的特征遮罩；

基于期望最大化EM框架对所述词袋处理模型进行训练，所述方法包括：

在E步，基于变分推断的更新规则，采用不动点迭代的方式优化所述后验分布模型，并计算所述第一隐变量和所述第二隐变量的期望；

在M步，根据所述第一隐变量和所述第二隐变量的期望似然函数进行极大似然估计。

2.根据权利要求1所述的方法，所述词袋处理模型还包括所述第一词袋的预测标签模型，所述预测标签模型为所述第一词袋与所述第一隐变量的哈达玛乘积所服从的概率分布，所述在E步之前，所述方法还包括：

观测所述第一词袋的样本数据，并对所述第一隐变量进行多次采样；

基于所述第一词袋的样本数据和所述第一隐变量的多个采样数据，利用所述预测标签模型获取所述第一词袋的多个类别标签分布；

对所述第一词袋的多个类别标签分布进行贝叶斯平均，得到所述第一词袋的预测标签分布。

3.根据权利要求1所述的方法，所述在E步之前，所述方法还包括：

基于所述第一词袋的样本数据和所述第一隐变量的采样数据，利用所述第一词袋与所述第一隐变量的哈达玛乘积对所述第一词袋的样本数据进行去噪。

4.根据权利要求1所述的方法，所述第一隐变量和所述第二隐变量均服从伯努利分布。

5.一种词袋处理方法，所述词袋处理方法所基于的词袋处理模型包括后验分布模型，所述后验分布模型包括第一词袋、第一标签、第一隐变量和第二隐变量；所述第一隐变量为所述第一词袋的特征遮罩，所述第二隐变量为所述第一标签的特征遮罩；

所述方法包括：

将待处理的所述第一词袋的特征数据输入至所述词袋处理模型，得到所述去噪后的词袋特征数据。

6.根据权利要求5所述的方法，所述词袋处理模型还包括所述第一词袋的预测标签模型，所述预测标签模型为所述第一词袋与所述第一隐变量的哈达玛乘积所服从的概率分布，所述方法还包括：

将待处理的所述第一词袋的特征数据输入至所述预测标签模型，得到所述第一词袋的预测标签分布。

7.根据权利要求5所述的方法，所述第一隐变量和所述第二隐变量均服从伯努利分布。

8.一种词袋处理模型的训练装置，所述词袋处理模型包括后验分布模型，所述后验分布模型包括第一词袋、第一标签、第一隐变量和第二隐变量；所述第一隐变量为所述第一词袋的特征遮罩，所述第二隐变量为所述第一标签的特征遮罩；

基于期望最大化EM框架对所述词袋处理模型进行训练，所述装置包括：

优化模块，用于在E步，基于变分推断的更新规则，采用不动点迭代的方式优化所述后验分布模型，并计算所述第一隐变量和所述第二隐变量的期望；

估计模块，用于在M步，根据所述第一隐变量和所述第二隐变量的期望似然函数进行极大似然估计。

9.根据权利要求8所述的装置，所述词袋处理模型还包括所述第一词袋的预测标签模型，所述预测标签模型为所述第一词袋与所述第一隐变量的哈达玛乘积所服从的概率分布，所述装置还包括：

观测模块，用于在E步之前，观测所述第一词袋的样本数据，并对所述第一隐变量进行多次采样；

获取模块，用于基于所述第一词袋的样本数据和所述第一隐变量的多个采样数据，利用所述预测标签模型获取所述第一词袋的多个类别标签分布；

平均模块，用于对所述第一词袋的多个类别标签分布进行贝叶斯平均，得到所述第一词袋的预测标签分布。

10.根据权利要求9所述的装置，所述装置还包括：

去噪模块，用于在E步之前，基于所述第一词袋的样本数据和所述第一隐变量的采样数据，利用所述第一词袋与所述第一隐变量的哈达玛乘积对所述第一词袋的样本数据进行去噪。