[发明专利]基于多模态深度玻尔兹曼机的微博话题表示及主题发现方法

摘要

基于多模态深度玻尔兹曼机的微博话题表示及主题发现方法。本发明通过对微博中话题标签进行分析，综合利用话题标签间共现信息及话题标签所在微博的向量空间表达这两种模态进行话题标签的表达建模。通过这两种信息得到的表达同时包含了话题标签本身相似性及所在微博的相似性。对话题标签的共现信息及微博的向量空间表达分别采用不同的深度玻尔兹曼机进行建模，最后将两个模态结果通过多模态的深度玻尔兹曼机进行联合学习，从而得到对联合两种模态的多模态表达。通过对得到的话题标签的多模态表达进行聚类，可将其中相似的话题标签聚到一起，从而提取出相应的微博主题。对于不含话题标签的微博，也可通过本模型生成话题标签，进而进行主题发现。

主权项

基于多模态深度玻尔兹曼机的微博话题表示及主题发现方法，包括如下步骤：步骤1)通过微博数据构建话题标签的两种模态表示步骤1.1)通过话题标签的共现关系构建话题标签的共现关系表示；通过对微博数据进行统计，获得话题标签之间的共现关系矩阵，则话题标签可由该矩阵的行来表示；步骤1.2)通过话题标签所在的微博构建向量空间表示可用包含话题标签话题的微博来建立话题标签的向量空间表示；令语料中微博包含的所有词语集合为字典K，令话题标签i的向量空间表示为T，则T是一个|K|维的向量，该向量的每一维的值是包含有该话题标签的微博中这一维词语出现的总次数；步骤2)对步骤1)中的两种模态表示分别训练深度玻尔兹曼机采用深度玻尔兹曼机对两种模态分别进行建模；由于高斯玻尔兹曼机更适用于真值输入，因此对于话题标签的共现关系表示采用深度高斯玻尔兹曼机进行建模；而Replicated Softmax模型对稀疏的向量空间表示有更好的建模性能，因此对于向量空间表示采用深度的Replicated Softmax的玻尔兹曼机进行建模；步骤3)以步骤2)中两种模态的训练结果作为输入进行多模态联合学习；多模态的玻尔兹曼机模型由两个玻尔兹曼机构建，一个是以共现关系表示作为输入的高斯玻尔兹曼机，它由一层可见层和两层隐藏层组成；另一个是以向量空间表示为输入的Replicated Softmax玻尔兹曼机，同样由一层可见层和两层隐藏层组成；将两个玻尔兹曼机的第二个隐藏层作为另外一个隐藏层的输入，得到的输出就是最终的联合表达；上述模型的最大似然学习是难以处理的，然而利用平常场推导来估计数据期望，及利用基于MCMC的随机估计过程来估计模型的期望统计能够做出对模型的近似学习；通过对多模态的玻尔兹曼机模型进行学习，即能够学习到参数拟合训练数据的模型，进而得到话题标签的多模态表达；步骤4)利用经典算法Kmeans对多模态联合学习出的话题标签表达进行聚类，将聚类得出的每个类别的簇心作为主题；步骤5)对于一个带话题标签的微博输入，可利用步骤3)学习到的多模态玻尔兹曼机模型对它的话题标签生成多模态表达，通过计算话题标签的多模态表达与步骤4)中簇心的多模态表达的距离，找到距离最近的簇心即是该微博的主题；步骤6)对于不带话题标签的微博，将微博的向量空间表达输入到步骤3)学习到的多模态玻尔兹曼机模型中，可通过吉布斯采样的方式从条件分布中对隐藏的模态进行采样，从而得到相应的共现关系表示，通过计算现有共现关系表示与采样出的共现关系表示的相似度，可将相似度最高的共现关系表示对应的话题标签作为该微博的话题标签；然后类似步骤5)通过求最近簇心的方式，得到该微博的主题。