[发明专利]词袋处理模型的训练方法及装置、词袋处理方法及装置

说明书

本公开实施例提供一种词袋处理模型的训练方法及装置、词袋处理方法及装置，所述词袋处理模型包括后验分布模型，所述后验分布模型包括第一词袋、第一标签、第一隐变量和第二隐变量；所述第一隐变量为所述第一词袋的特征遮罩，所述第二隐变量为所述第一标签的特征遮罩；基于期望最大化EM框架对所述词袋处理模型进行训练，所述方法包括：在E步，基于变分推断的更新规则，采用不动点迭代的方式优化所述后验分布模型，并计算所述第一隐变量和所述第二隐变量的期望；在M步，根据所述第一隐变量和所述第二隐变量的期望似然函数进行极大似然估计。

技术领域

本公开涉及词袋处理技术领域，具体涉及一种词袋处理模型的训练方法及装置、词袋处理方法及装置。

背景技术

在词袋处理模型的训练过程中，模型收敛速度较慢。另外，噪声变量和噪声标签的存在会严重影响模型的训练过程和泛化性能。

发明内容

为了解决上述问题，本公开实施例提供一种词袋处理模型的训练方法及装置、词袋处理方法及装置。

第一方面，提供一种词袋处理模型的训练方法，所述词袋处理模型包括后验分布模型，所述后验分布模型包括第一词袋、第一标签、第一隐变量和第二隐变量；所述第一隐变量为所述第一词袋的特征遮罩，所述第二隐变量为所述第一标签的特征遮罩；基于期望最大化EM框架对所述词袋处理模型进行训练，所述方法包括：在E步，基于变分推断的更新规则，采用不动点迭代的方式优化所述后验分布模型，并计算所述第一隐变量和所述第二隐变量的期望；在M步，根据所述第一隐变量和所述第二隐变量的期望似然函数进行极大似然估计。

可选地，所述词袋处理模型还包括所述第一词袋的预测标签模型，所述预测标签模型为所述第一词袋与所述第一隐变量的哈达玛乘积所服从的概率分布，所述在E步之前，所述方法还包括：观测所述第一词袋的样本数据，并对所述第一隐变量进行多次采样；基于所述第一词袋的样本数据和所述第一隐变量的多个采样数据，利用所述预测标签模型获取所述第一词袋的多个类别标签分布；对所述第一词袋的多个类别标签分布进行贝叶斯平均，得到所述第一词袋的预测标签分布。

可选地，所述在E步之前，所述方法还包括：基于所述第一词袋的样本数据和所述第一隐变量的采样数据，利用所述第一词袋与所述第一隐变量的哈达玛乘积对所述第一词袋的样本数据进行去噪。

可选地，所述第一隐变量和所述第二隐变量均服从伯努利分布。

第二方面，提供一种词袋处理方法，所述词袋处理方法所基于的词袋处理模型包括后验分布模型，所述后验分布模型包括第一词袋、第一标签、第一隐变量和第二隐变量；所述第一隐变量为所述第一词袋的特征遮罩，所述第二隐变量为所述第一标签的特征遮罩；所述方法包括：将待处理的所述第一词袋的特征数据输入至所述词袋处理模型，得到所述去噪后的词袋特征数据。

可选地，所述词袋处理模型还包括所述第一词袋的预测标签模型，所述预测标签模型为所述第一词袋与所述第一隐变量的哈达玛乘积所服从的概率分布，所述方法还包括：将待处理的所述第一词袋的特征数据输入至所述预测标签模型，得到所述第一词袋的预测标签分布。

可选地，所述第一隐变量和所述第二隐变量均服从伯努利分布。

第三方面，提供一种词袋处理模型的训练装置，所述词袋处理模型包括后验分布模型，所述后验分布模型包括第一词袋、第一标签、第一隐变量和第二隐变量；所述第一隐变量为所述第一词袋的特征遮罩，所述第二隐变量为所述第一标签的特征遮罩；基于期望最大化EM框架对所述词袋处理模型进行训练，所述装置包括：优化模块，用于在E步，基于变分推断的更新规则，采用不动点迭代的方式优化所述后验分布模型，并计算所述第一隐变量和所述第二隐变量的期望；估计模块，用于在M步，根据所述第一隐变量和所述第二隐变量的期望似然函数进行极大似然估计。