[发明专利]一种单篇文本关键词的提取方法

说明书

技术领域

本发明涉及一种单篇文本关键词的提取方法，具体是涉及一种对TFIDF方法提取领域文集中单篇文本关键词的改进方法。

背景技术

单篇文本关键词是文本知识流生成、语义链网络构建、文本语境复杂度和信息量中文本表示的基本元素。单篇文本关键词的提取精度直接影响到文本分类、聚类、词语关联分析、文本自动摘要、文本过滤、信息检索、话题检测、标注网页等文本信息处理的质量与效果。目前对单篇文本关键词提取技术的研究主要有：TFIDF方法、朴素贝叶斯分类法、互信息方法、最大熵模型法、最大似然性和前缀树法等。

目前应用最广的单篇文本关键词的提取方法是TFIDF方法。TFIDF方法认为，单篇文本的关键词应该在文本中经常出现，并且在其他文集中很少出现。TFIDF方法用词权公式计算一个词对于文集中的单篇文本的重要程度。TFIDF方法的词权就是词频TF(Term Frequency)与逆文档频率IDF(Inverse Document Frequency)的乘积。TFIDF词权公式如下：

TFIDF_t＝TF_t×IDF_t＝TF_t×log(N/n_t)

其中，TF_t为词t的词频，也就是词t在文本中出现的次数。IDF_t为词t的逆文档频率，它通过log(N/n_t)计算；N为文集的文本总数；n_t为词t的篇频，也就是文集中包含词t的文本数。词的逆文档频率与篇频成反比，篇频越高则逆文档频率越低。所以，通过检验词的逆文档频率可以过滤掉那些在文集里最普遍出现的高篇频词。

但是用TFIDF方法提取领域文集中的单篇文本关键词时，存在以下不足：

(1)TFIDF方法中无关领域文集涉及的领域和文本总数会降低单篇文本关键词的提取质量。

(2)由于词的逆文档频率与词在文集中出现的篇频成反比，TFIDF词权会倾向于低篇频词，导致单篇文本关键词的提取精度降低。

(3)当领域文集属于单一领域时，一些代表领域整体的高篇频也会被过滤掉，最终关键词提取结果只能保留文本特性而不能保持领域特性。

发明内容

本发明的目的在于针对TFIDF方法的不足，提供一种单篇文本关键词的提取方法，该方法能避免无关领域文集对关键词提取结果的影响，提高关键词的提取精度，还能提高关键词提取结果的领域特性。

为了达到上述的目的，本发明的构思如下：采用搜索引擎辅助法提取单篇文本的关键词，提高领域文集中单篇文本关键词的提取精度，提高关键词提取的领域特性；所述的搜索引擎辅助法是：通过搜索引擎检验词的普遍性，再通过改进的TFIDF词权公式提取关键词。

根据上述的发明构思，本发明采用下述技术方案：

一种单篇文本关键词的提取方法，其特征在于，其具体步骤如下：

(1)打开领域文集中的单篇文本；

(2)文本内容预处理，包括分词、词性标注；

(3)提取有意义的实词；

(4)统计实词的词频；

(5)打开领域文集的所有文本；

(6)统计实词在领域文集中的篇频；

(7)统计搜索引擎检索实词所返回的页面数；

(8)用改进的TFIDF词权公式计算单篇文本所有实词的权重，从中提取一定比例的关键词。

所述的改进的TFIDF词权公式，记为TFMIDF，其计算式如下：

TFMDF_t＝TF_t×(α*DIDF_t+(1-α)*SIDF_t)

其中TF_t是词t在文本中出现的次数；DIDF_t是领域文集中的逆文档频率，SIDF_t是利用搜索引擎计算的逆文档频率；α是用来调节原始DIDF与SIDF之间的权重；当α＝1时，TFNDF_t＝TF_t×DIDF_t，词权赋值依赖领域文集数；当α＝0时，TFMDF_t＝TF_t×SIDF_t，词权赋值不依赖领域文集数，提取关键词直接面向单篇文本。

所述的领域文集中的逆文档频率，其计算公式如下：