[发明专利]一种基于词向量和上下文信息的短文本主题模型

权利要求书

1.一种基于词向量和上下文信息的短文本主题模型，其特征在于，有效地利用词向量以及上下文信息来获取单词之间的语义相似度，并将语义相似度信息应用到吉布斯采样的过程中，增大主题的语义一致性：

(1)获取单词之间的语义相似度

从维基百科或谷歌新闻中训练词向量，得到训练数据中每个单词的向量表示，用向量之间的余弦相似度来表示两个单词之间的语义相关性；对于单词w_i以及w_j，对应的词向量为v_i以及v_j，则单词之间的语义相似度定义为：对于训练集中的每个单词，得到其语义相关单词的集合S(w)，其定义为：S(w)＝{w_o|SR(w,w_o)>ε}，其中ε的取值视数据集而定，其范围是ε∈[0,1]；

(2)使用训练数据过滤单词间语义相似度信息

词向量是从大型数据集中训练得到的，其中包含的语义信息可能并不适用于训练数据，为了进一步包含训练数据的特征，使用点互信息PMI对得到的语义相似度信息进行过滤，单词w_i和w_j之间的PMI定义为：

其中，p(w_i,w_j)表示单词w_i和w_j在同一篇文档中共同出现的概率，p(w)表示单词w在文档集合中出现的概率，由包含该单词的文档频率去估计；根据PMI重新定义集合S(w)为：S(w)＝{w_o|SR(w,w_o)>ε,PMI(w,w_o)≥η}，其中η∈(-∞,+∞)，具体的取值视数据集而定；

(3)定义模型的生成过程

指定短文档集合中有K个主题和一个背景主题；一篇短文档只包含一个主题，一篇文档中的单词既由一个正常主题产生也由一个背景主题产生；具体的生成过程为：

a)采样得到文档集合的主题分布：θ～Dirichlet(α)；

b)采样得到背景主题的单词分布：φ_B～Dirichlet(β)；

c)采样得到二元指示变量的分布：ψ～Dirichlet(γ)；

d)对于每个主题k，采样得到主题单词分布：φ_k～Dirichlet(β)；

e)对于文档集中的每篇文档d，首先采样得到该文档的主题；

z_d～Multinomial(θ)，对于文档d中第i个单词，首先采样一个二元变量

y_d,i～Bernoulli(ψ)，若y_d,i＝0，则该单词从主题z_d产生，即

w_d,i～Multinomial(φ_zd)，若y_d,i＝1，则该单词从背景主题B产生，即

w_d,i～Multinomial(φ_B)；

(4)模型参数求解

模型参数的求解用到的方法是吉布斯采样，根据采样得到的样本来进行参数的最大后验估计；为了在提高主题的语义一致性，应用General Polya Urn模型的采样方法，增大语义相似度较高的单词在相关主题下的统计量，即单词w对应的主题被赋值为k时，则同时，对于w_o∈S(w)，其中定义为：

根据生成过程，进行采样的隐变量是z与y，而隐变量φ_B、φ_1,...,k、θ和ψ通过最大后验估计得到；对于文档d，其主题z的采样公式为：

其中α、β为Dirichlet分布中的超参数，V为单词表的大小，为单词w在主题k下的统计量，为主题k关于所有单词的统计量，n_k为主题为k的文本数目，下标-d表示在计算当前统计量时，文档d不会被考虑进去，得到样本z之后通过最大后验估计得到每个主题关于单词的分布：