[发明专利]主题模型的生成方法及装置、主题分布的获取方法及装置

说明书

【技术领域】

本发明涉及计算机技术领域，尤其涉及一种主题模型的生成方法及装置、主题分布的获取方法及装置。

【背景技术】

在机器学习与自然语言处理领域中，常常需要从大量文本中，挖掘文本域词语之间所蕴含的潜在语义关系，即所主题。通过主题模型的学习和预测，可以获得文本的主题分布，用于实现文本聚类，以及应用于后续分类、检索、扩展、推荐等任务。

现有技术中，传统的主题模型，如概率潜语义分析(Probability Latent Semantic Analysis，PLSA)算法、非负矩阵分解(Non-negative Matrix Factorization，NMF)算法、隐含迪利克莱分布(Latent Dirichlet Allocation，LDA)算法，均采取词袋(bag of words)的概念，忽略了词条之间的关系，用多项分布(multinomial)描述每个词条的主题分布。然而，传统的主题模型都是针对长文本而提出，随着社交网络的兴起，互联网上产生了大量如微博、评论等短文本，由于短文本中包含的词条数目较少，受限于其共现词的低频性，利用传统的主题模型获得文本的主题分布的准确性和稳定性比较低。

【发明内容】

有鉴于此，本发明实施例提供了一种主题模型的生成方法及装置、主题分布的获取方法及装置，用以解决现有技术中利用传统的主题模型获得文本的主题分布的准确性和稳定性比较低的问题。

本发明实施例的一方面，提供一种主题模型的生成方法，所述主题模型包括主题分布的目标期望；包括：

获得训练样本中词对的第一后验概率参数；

依据所述第一后验概率参数，获得所述训练样本中词对的主题分布的候选期望；其中，所述词对包含所述训练样本中两个不同的词条；

依据所述训练样本中词对的主题分布的候选期望，获得主题模型的收敛度；

若所述主题模型的收敛度满足终止条件，将所述训练样本中词对的主题分布的候选期望作为所述主题分布的目标期望。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述获得训练样本中词对的第一后验概率参数，包括：

获得训练样本中词对的迪利克莱分布的先验概率参数；

依据随机数与所述迪利克莱分布的先验概率参数之和，获得所述训练样本中词对的迪利克莱分布的第一后验概率参数，以作为所述训练样本中词对的第一后验概率参数。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述获得训练样本中词对的第一后验概率参数，包括：

依据服从泊松分布的所述训练样本中词对的出现次数，并利用如下公式，获得所述迪利克莱分布的第一后验概率参数以作为所述训练样本中词对的第一后验概率参数：

ϵbk*=ϵ+nbΣm=1Mρbkm*]]>

其中，ε表示所述训练样本中词对b的迪利克莱分布的先验概率参数；n_b表示服从泊松分布的所述训练样本中词对b的出现次数；表示词对b的中间参数ρ^*中第b行、第k列的M维向量中的第m个数值。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述依据所述第一后验概率参数，获得所述训练样本中词对的主题分布的候选期望，包括：

依据所述迪利克莱分布的第一后验概率参数并利用如下公式，获得所述训练样本中词对的主题分布的候选期望：