[发明专利]一种多特征融合的关键词权重计算方法和关键词抽取方法

说明书

本发明公开了一种多特征融合的关键词权重计算方法，首先收集分析文档集并对文档集中每一篇文章进行分词标记，形成备选词组；再以任一备选词作为拟选词获取其归一化词频值、词首位置值、词尾位置值、词平均跨度值、词首尾跨度值、词长值、词性值、TFIDF值、平均信息熵作为多维度特征；最后算得拟选词的融合权重计算式。本发明还公开了一种多特征融合的关键词抽取方法，其基于textRank算法进行，该算法中边与边的权重按融合权重计算式求得，从而提取关键词。采用本发明方法的显著效果是，采用了能够更好表达关键词分布的词平均跨度、词首尾跨度；采用Lasso回归求解融合权重的模式自带特征选择，删除了不重要特征，保留了重要特征，能提高提取关键词的准确度。

技术领域

本发明涉及文档中关键词提取技术，具体涉及一种融合多种词重要性特征的TextRank自动提取关键词方法。

背景技术

随着互联网大数据的快速发展，非结构化文档数据资源变得尤为庞大，用户被大量无关信息环绕，准确的关键词提取技术可有效对文档数据进行归类，为用户精确检索查询提供便捷。

关键词提取指从文本中提取出重要的词语或短语，作为文本的摘要或要点。这种技术常用于文本摘要、文档分类、信息检索等应用中。传统的关键词提取方法可分为，基于词频统计的TFIDF，但其仅依赖词频信息，缺少了词的其他重要信息，效果并不理想；基于LDA的主题模型往往需要提前训练，并对训练文档集主题分布依赖较大；基于图节点的TextRank算法忽视了词的本身重要性，效果也不佳，因此本文提出多特征融合的Lasso-TextRank关键词抽取方法改善当前现状。

发明内容

为了解决以上技术问题，本发明提供一种从大量文档中提取文档关键词的方法，该融合方法包含关键词的多维度特征构建，然后通过Lasso回归求解多维度特征的融合权重表达式。之后通过融合权重表达式求解词的融合权重来改进TextRank初始词汇节点的权重，最后通过迭代更新获得文档的关键词。本方案的方法充分考虑了词在单文档和多文档层面上的重要程度，能有效避免关键词的漏抽和错抽。

为解决融合权重的计算问题，采用的主要技术方案如下：

一种多特征融合的关键词权重计算方法，其关键在于按以下步骤进行：

步骤1.1、收集并选择n篇文档作为分析文档集；

步骤1.2、对所述分析文档集中每一篇文章进行分词标记，将同一篇文章的所有备选词按前后顺序排列形成一个备选词组；

以任一备选词作为拟选词，获取每个所述拟选词的多维度特征；

所述多维度特征包括归一化词频值w_TF1、词首位置值w_FP、词尾位置值w_PL、词平均跨度值w_MTS、词首尾跨度值w_PFL、词长值w_TL、词性值w_PSO、TFIDF值w_TFIDF、平均信息熵w_IH；

步骤1.3、基于以下公式(1)计算拟选词的融合权重y；

α为拟选词的归一化词频值w_TF1的权重系数；

β为拟选词的词首位置值w_FP的权重系数；

γ为拟选词的词尾位置值w_PL的权重系数；

δ为拟选词的词平均跨度值w_MTS的权重系数；

ε为拟选词的词首尾跨度值w_PFL的权重系数；

∈为拟选词的词长值w_TL的权重系数；