[发明专利]一种基于长篇科学文献的关键词抽取方法

说明书

本发明提供一种基于长篇科学文献的关键词抽取方法。对科学文献的单词进行统计，统计字数长度在8000‑40000字，人工统计时间在10‑60分钟，将长篇科学文献进行分块处理，再对文档进行标记并用词性Part‑Of‑Speech(POS)标签标记文档。本发明提供的基于长篇科学文献的关键词抽取方法，通过引入“分块”的概念，极大的完善了BERT模型固有的对输入端长度的限制，提出了Block‑BERT模型进行处理，联合全局和局部信息，保留全面的语义信息，有效的对长篇科学文献进行关键词的提取，与现有的模型相比，性能得到了极大的提升，尽量避免了关键词语义信息的缺失，提出新的节点中心性的计算排名方法Block‑Rank，局部信息采用基于图结构模型来衡量节点的重要程度。

技术领域

本发明涉及关键词抽取领域，尤其涉及一种基于长篇科学文献的关键词抽取方法。

背景技术

随着科研文献爆炸式增长，精确定位提取领域知识资源，对这些文本数据进行分析并挖掘出最有价值的内容(例如术语、实体、关系、语义图等)。关键词提取是指提取给定语料库(例如研究论文和新闻)中的高质量短语(例如科学术语和一般实体的名称)的过程，是自然语言处理领域一个核心基本问题。对国家和企业的技术战略布局至关重要，能快速构建科研文献中最有价值的信息，缩短对行业领域的了解周期。

现在常规的关键词提取技术基于有监督的方法和基于无监督的方法，

基于有监督的方法：将关键词提取过程看作二分类问题，首先提取候选关键词，对每个候选关键词划分标签，即是或者不是候选关键词，然后训练关键词抽取分类器。但其缺点是有监督方法通常不能很好地泛化与训练语料库不同领域的文档，可能需要重新训练以解决概念漂移传统检索方法存在语义失配问题。

基于无监督的方法：采取各种评分指标对候选关键词进行排序，不需要人工标注，只通过文档自身内容就可以提取关键词，如基于统计的模型、基于图的模型、基于主题的模型和基于嵌入的模型，基于嵌入的模型只是测量了文档和候选短语之间的相似性，BERT模型固有的对输入端长度的限制使得其处理长篇科学文献时难以避免地造成了语义信息缺失的问题，而传统的基于嵌入的方法往往又难以构造出准确度令人满意的模型，导致关键词提取的性能较差。

因此，有必要提供一种基于长篇科学文献的关键词抽取方法解决上述技术问题。

发明内容

本发明提供一种基于长篇科学文献的关键词抽取方法，解决了BERT模型固有的对输入端长度的限制使得其处理长篇科学文献时难以避免地造成了语义信息缺失的问题。

为解决上述技术问题，本发明提供的基于长篇科学文献的关键词抽取方法，对科学文献的单词进行统计，统计字数长度在8000-40000字，人工统计时间在10-60分钟，将长篇科学文献进行分块处理，再对文档进行标记并用词性Part-Of-Speech(POS)标签标记文档。文档D被标记为{Wt₁，Wt₂，...，Wt_n}，从文档D中提取的候选词组则被表示为{CP₀，CP₁，...，CP_n}。使用BERT来获取上下文动态向量的表示{T₁，T₂，...，T_N}＝BERT({t₁，t₂，...，t_N})。

优选的，所述T_i是每个token t_i所对应的向量表示。然后通过计算短语标记向量的平均值来获取候选短语的向量表示表示候选词组对应的数个token的编号组成的集合。

优选的，将为整个文档的向量表示，包含全局的语义信息和一系列候选短语短语和文档的相似度采用曼哈顿距离进行计算：