[发明专利]一种基于万有引力改进的TextRank的新闻关键词提取方法

说明书

本发明提供一种基于万有引力改进的TextRank的新闻关键词提取方法。本发明方法包括如下步骤：对采集到的新闻数据进行数据预处理；计算数据预处理后的新闻数据中词与词之间的共现频率，并通过CBOW模型训练词向量，构建主题模型得到文档中主题下词的概率分布和文档下主题的分布计算每篇文档下预设词的主题影响力；通过词之间的共现频率、词在文档下主题影响力和词之间的距离计算出词与词之间的吸引力，利用TextRank算法迭代计算得到有序的关键词序列，根据排序好的关键词序列得到指定数量的关键词。本发明充分的利用了文档内部与外部信息,利用该发明提取出的关键词更加准确，客观。本方法不需要大量的标注语料，节省了大量的人力和时间成本。

技术领域

本发明涉及自然语言处理领域，尤其涉及一种基于万有引力改进的TextRank的新闻关键词提取方法。

背景技术

我们身处在一个信息爆炸的时代，接收信息方式具有多样性，包括文本、图像、音频等，其中文本信息是信息传播的重要途径之一。由于数据的爆炸式增长，手工提取大量文本信息中的内容难上加难，需要大量的劳动力和专业人员才能够实现对信息的准确提取。那么在这种需求的推动下，高效快速的获取到文本中的主要信息成为了目前的热点问题。

为了能在大量的新闻数据中获取到主要信息内容，研究人员致力于文本分类、文本聚类和文本摘要等研究领域进行探索研究。而这些研究都会涉及到文本处理的基本技术问题--关键词的提取。通过提取到的关键词我们可以了解到文本的核心主题或者主要内容。关键词的准确提取已经成了自然语言处理文本分析的热点研究问题。关键词提取技术目前应用领域广泛，特别是在新闻服务领域发挥着重要作用。用户通过新闻关键词的提取，可以很快了解新闻主题或大致内容，从而判断文章是否为其感兴趣的内容。并且大量研究证明，关键词提取在文本分类、文本摘要提取、文本聚类和信息检索等方面发挥着重要作用。与此同时，由于文本信息的指数性增长，手动提取已不能满足需求、需要借助高效的提取方法获取到准确的、概括性强的关键词。

关键词是对文本的高度概括，通过对新闻文本数据的提取，用户不仅能准确快速的获取到新闻主要信息，而且在信息检索中，可以通过搜索引擎搜索，快速获取到相关关键词的最相关文本，提高用户体验效果。因此关键词提取在新闻领域有着至关重要的作用。

目前现有的关键词提取算法主要有两大类，分别是基于无监督的学习模式和有监督的学习模式。早期的无监督关键词提取方法主要是训练一个分类器，判断所提出的词是否为关键词，但是这样得到的关键词它们的重要程度一样，不具有区分性。基于这种的提取关键词的方法有：决策树、朴素贝叶斯、最大熵、支持向量机等机器学习方法。事实上，在每篇文档中每个词都具有不同的重要性，得到的不具有排序的关键词不具有实用性。为此有人提出用有监督的方法来对关键词进行提取，取得了不错效果，但是基于有监督的学习需要大量的、高质量的标注语料，需要耗费大量的人力物力和大量时间。所以目前无监督提取关键词的方法是主流方法，其不需要标注大量语料。但是现有的关键词提取精度依旧不是很高。专利号为CN109614626A的《基于万有引力模型的关键词自动抽取方法》公开了一种万有引力关键词提取的算法，但是它采用改进的TF-IDF计算词的质量，其融合单词位置、词性、词长等外部特征。虽然基于TF-IDF统计特征简单易行，但是该方法忽略了重要的低频词和文档内部的主题分布语义特征。在提取关键词时准确率依旧有待提高。

发明内容

根据上述提出的技术问题，而提供一种充分的考虑文档中低频词和文档内部主题分布的语义特征的基于万有引力改进的TextRank的新闻关键词提取方法。本发明采用的技术手段如下：

一种基于万有引力改进的TextRank的新闻关键词提取方法，包括如下步骤：

对采集到的新闻数据进行数据预处理，获得用于分析的规整数据；

计算数据预处理后的新闻数据中词与词之间的共现频率，并通过CBOW模型训练词向量，然后构建主题模型得到文档中主题下词的概率分布和文档下主题的分布计算每篇文档下预设词的主题影响力；