[发明专利]基于LDA的网络舆情文档自动摘要方法

摘要

本发明公开了基于LDA的网络舆情文档自动摘要方法，包括步骤：确定需要抽取的摘要个数n；利用训练文档集产生LDA主题模型；将文档分成句子存入数组Sens中；建立一个空的数组Sums；遍历语料集中的每一个句子，计算句子的MMR权重，句子和数组间的相似度，相似度用来解释MMR权重公式；遍历完成后，选择Sens中MMR权重最大的句子，加入Sums，并从Sens中剔除；如果Sums中的句子个数等于要抽取的摘要个数n，则进入下一步骤，否则返回上一步骤；输出Sums中的句子，作为本次自动摘要的结果。本发明通过基于LDA的相似度计算方法，提高了摘要句与主题的相关性；平衡了相关性和多样性，对于网络舆情文档等多主题的文档具有非常好的效果。

主权项

1.基于LDA的网络舆情文档自动摘要方法，其特征在于，包括以下步骤：(1)确定需要抽取的摘要个数n，进入下一步骤；(2)利用训练文档集产生LDA主题模型，进入下一步骤；(3)将文档分成句子存入数组Sens中，进入下一步骤；(4)建立一个空的数组Sums，进入下一步骤；(5)遍历语料集中的每一个句子，计算句子的MMR权重，公式如下所示：MMR(Si)＝λ·Sim(Si,Sens‑i)‑(1‑λ)·Sim(Si,Sums)式中的Si表示语料集中第i个句子；λ∈[0,1]，是人工设置的参数，可以根据测试文档来选取合适的值；Sens‑i即Sens中除去Si；Sim(Sentence,List)是句子Sentence和数组List间的相似度，其计算公式如下：其中p和q是通过步骤(2)中训练好的LDA主题模型，分别将句子Sentence和数组List映射成主题空间的概率分布p＝[p1，p2，...，pK]和q＝[q1，q2，...，qK]，K为训练的LDA主题模型的主题个数；相似度用来解释MMR权重公式；进入下一步骤；(6)遍历完成后，选择Sens中MMR权重最大的句子，加入Sums，并从Sens中剔除；如果Sums中的句子个数等于要抽取的摘要个数n，则进入下一步骤，否则返回步骤(5)；(7)输出Sums中的句子，作为本次自动摘要的结果。