[发明专利]一种基于词共现网络的主题建模方法

权利要求书

1.一种基于词共现网络的主题建模方法，其特征在于，包括步骤：

根据给定的语料库或者文本集合构建词共现网络；

根据得到的词共现网络构造出一个新的文档集合；

将得到的新的文档集合输入到一个标准主题模型LDA的Gibbs sampling算法中，得到新文档集合对应的文档-主题矩阵和主题-词矩阵；

所述根据给定的语料库或者文本集合构建词共现网络的步骤中，包括：

对文本集合D进行预处理操作；

将文本集合D中所有出现过的词进行去重，并组成构建一个集合V，称为词汇表；词汇表中的每个词对应着词共现网络中的节点，如果词汇表中的两个词共同出现在某篇文档中，则在网络中相应的节点之间连接着一条无向边，边上带有一个权重，权重的大小表示两个词在各个文档中共同出现的次数的总和，从而构建出一个词共现网络结构；

所述将得到的新的文档集合输入到一个标准主题模型LDA的Gibbs sampling算法中，得到新文档集合对应的文档-主题矩阵和主题-词矩阵的步骤中，包括步骤：

对于每篇文档，随机初始化文档中每个词的主题分配；每篇文档表示成一个由索引编号组成的列表，每个词的索引编号对应在词汇表V中的编号；

假设主题数量为K，记每个主题t下词w出现的次数为n_t,w，每篇文档d中主题t包含的词的个数为n_d,t，主题t包含的词的总数即分配给主题t的词的总数为每篇文档包含的总的词数即文档长度为设算法的最大迭代次数为max_iter；

执行Gibbs sampling算法；

对于文档d中的每个词w，设其对应的主题为t，从相应的计数中减去当前词的主题分配情况：n_t,w＝n_t,w-1，n_d,t＝n_d,t-1，n_t＝n_t-1，n_d＝n_d-1；

对当前词的主题分配进行重新采样，计算公式为：

其中，z_w表示当前词w的主题分配，z_-w表示文档中除了当前词w其他词的主题分配情况，α和β对应着文档-主题分布的超参数和主题-词分布的超参数，表示除了当前词w，文档d中包含的分配给主题k的词的个数；表示除了当前词w，分配给主题k的总词数；

假设重新采样得到的主题为k，那么更新相应的有关词w的相关计数：n_k,w＝n_k,w+1，n_d,k＝n_d,k+1，n_k＝n_k+1，n_d＝n_d+1；

不断地重复上述步骤直到算法收敛，即达到指定的最大迭代次数max_iter，算法收敛之后得到的文档-主题矩阵和主题-词矩阵中各个元素的计算方式为：

其中，θ_d,t表示主题t在文档d中出现的概率，表示词w在主题t中出现的概率；

所述边上的权重计算方法为：设n_d,w,v表示词w和词v在文档d中共同出现的次数，其计算方式为：n_d,w,v初始化为0，指定一个窗口大小sliding_window，对文档d中的每个词，看词w和词v是否都在该词与其左右各sliding_window个词组成的集合当中，如果都在，则n_d,w,v累加1；对文档d中所有词进行同样的处理后，就得到词w和词v共同出现在文档d中的次数n_d,w,v；词w和词v的连接边上的权重大小即为：

所述根据得到的词共现网络构造出一个新的文档集合的步骤中，新文档集合的构建方法为：新文档集合中的每篇文档由词共现网络中的某个节点对应的一个邻域内的节点组成，词共现网络中的每个节点，其对应着词汇表V中的某个词，找出该节点的ε邻域内的节点，其中ε的大小事先给定，并可根据实验结果进行调整；ε邻域即与该节点组成的路径包含的边数不超过ε，将这些节点对应的词组成一个集合，这个集合就作为一篇新的文档；

相应节点出现的次数根据该节点与当前考虑节点之间的边的数量和边上的权重决定，其计算方式为：sum_weight/num_edge，其中sum_weight表示该节点与当前考虑节点之间的各条边上的权重之和，num_edge表示该节点与当前考虑节点之间的边的数量；由于每个节点对应着一篇新的文档，而节点的数量恰为词汇表的大小，所以最终得到一个数量与词汇表大小一样的文档集合D’；

所述预处理操作，包括：将所有单词转换成小写、去除停用词和标点符号、字符数小于3的单词和词的个数小于3的文档。