[发明专利]一种基于网络高阶结构和主题模型融合的关键词抽取方法

说明书

本发明公开了一种基于网络高阶结构和主题模型融合的关键词抽取方法，包括如下步骤：步骤一：新闻文本D分词；步骤二：对分词结果去停用词，生成词序列；步骤三：基于词序列构建词共现网络G；步骤四：基于网络高阶结构对词共现网络G的连边赋予权重，获得加权邻接矩阵M；步骤五：计算词共现网络G中的词在目标文本下的主题表达能力；步骤六：基于步骤四得到的加权邻接矩阵M和步骤五得到的主题表达能力，计算词共现网络G中的词的最终重要性得分，并依据最终重要性得分从大到小选出前k个词作为新闻文本D的关键词。本发明实现的关键词抽取方法，一方面计算复杂度低；另一方面融合了词的主题，提升了新闻文本关键词抽取的准确性。

技术领域

本发明属于新闻关键词自动抽取领域，尤其是一种基于网络高阶结构和主题模型融合的关键词抽取方法，适用于无监督新闻文本关键词自动抽取场景。

背景技术

网络技术的发展和融媒体的兴起促使新闻资讯数量急剧增长。每天在各大新闻平台（如今日头条等）上都有大量的新闻数据产生，如何使得受众群体从信息全面、数量众多的新闻文档中快速获取信息面临着巨大挑战。

作为自然语言处理的两大基础任务，文本分类技术和关键词提取技术可以获得与新闻文档内容相关的关键信息，从而使得受众能够快速了解新闻文档的内容。分类技术是对新闻文本内容进行层次分类，可获得新闻文本所属的类别，并且其分类体系是预先定义好的，是一个封闭集合。但是新闻的类别是一个比较范的概念，只能让受众群体大体上了解该则新闻属于那个类别范畴，比如体育、政治、经济等。相较而言，关键词抽取技术则可以获得与新闻文档内容或者主题更相关的重要词汇，其涵盖的信息更为具体。比如，两则新闻可能在类别体系上都属于体育，但关键词抽取结果却分别为篮球和花样滑冰。更为具体的概括信息可以帮助受众进行更有效的信息过滤，也更利于新闻数据的智能分发（推荐场景下）。

关键词抽取算法主要分为有监督和无监督两大类。由于有监督方法通常需要大量的人工标注数据，其代价较高，因此本发明主要从无监督角度切入。无监督关键词抽取方法可以视为排序方法，本质上是对词的重要性进行计算，该系列方法大体上可以分为两类：基于统计的模型和基于网络的模型。最具代表性的统计模型是TF-IDF，其主要利用词在目标文档中出现的频率（TF）和词在所有文档（即语料库）中出现的频率的倒数(IDF)来计算词的重要性。TF-IDF在度量词语重要性时仅基于简单统计，并没有考虑词的语义或主题性。另一方面，基于网络的排序方法，如TextRank模型则从目标文档中构建网络，将目标文档中出现的词语作为网络的节点，将词语间在目标文档中的共现关系作为网络的连边，然后利用随机游走方法计算网络中节点的重要性（也即词的重要性）。但此类模型仍然没有考虑词的主题。针对此问题，论文《EntropyRank: 基于主题熵的关键短语提取算法》（尹红, 陈雁, 李平. 中文信息学报, 2019, 33(11): 107-114.）利用信息熵从词的主题分布和目标文档的主题分布出发，计算词在特定文档中的主题表达能力，并修正随机游走模型，在抽取效果上得到了一定提升。但是，TextRank以及后续的改进版本如EntropyRank等虽然不需要用到大量的语料，但其算法本身需要迭代至收敛以获取节点的重要性得分，相较于TF-IDF等纯统计模型而言，其计算代价较大。针对计算代价问题，论文《Single Document KeywordExtraction Via Quantifying Higher--order Structural Features of Word Co-occurrence Graph》则从网络的高阶结构（子图）出发重新定义词的重要性指标：KSMT、KSMQ，该类模型将网络的子图视为语义组件，并认为词参与的语义组件越多，越能反映词对于文章的重要性。虽然在计算效率上获得了提升，但实质上，KSMT、KSMQ本质上还是一个统计模型，并没有实际考虑词的主题。

发明内容