[发明专利]一种单篇文本关键词的提取方法

权利要求书

1.一种单篇文本关键词的提取方法，其特征在于，采用搜索引擎辅助法提取单篇文本的关键词，提高领域文集中单篇文本关键词的提取精度，提高关键词提取的领域特性；所述的搜索引擎辅助法是：通过搜索引擎检验词的普遍性，再通过改进的TFIDF词权公式提取关键词，其具体步骤如下：

(1)打开领域文集中的单篇文本；

(2)文本内容预处理，包括分词、词性标注；

(3)提取有意义的实词；

(4)统计实词的词频；

(5)打开领域文集的所有文本；

(6)统计实词在领域文集中的篇频；

(7)统计搜索引擎检索实词所返回的页面数；

(8)用改进的TFIDF词权公式计算单篇文本所有实词的权重，从中提取一定比例的关键词。

2.按权利要求1所述的一种单篇文本关键词的提取方法，其特征在于，上述步骤(8)中所述的改进的TFIDF词权公式，记为TFMIDF，其计算式如下：

TFMDF_t＝TF_t×(α*DIDF_t+(1-α)*SIDF_t)

其中TF_t是词t在文本中出现的次数；DIDF_t是领域文集中的逆文档频率，SIDF_t是利用搜索引擎计算的逆文档频率；α是用来调节原始DIDF与SIDF之间的权重；当α＝1时，TFMDF_t＝TF_t×DIDF_t，词权赋值依赖领域文集数；当α＝0时，TFMDF_t＝TF_t×SIDF_t，词权赋值不依赖领域文集数，提取关键词直接面向单篇文本。

3.按权利要求2所述的一种单篇文本关键词的提取方法，其特征在于，所述的领域文集中的逆文档频率，其计算公式如下：

DIDFt=log(Ndnt)]]>

其中N_d是领域文集的文本总数，n_t是领域文集中包含词t的文本数。

4.按权利要求2所述的一种单篇文本关键词的提取方法，其特征在于，所述的利用搜索引擎计算的逆文档频率，其计算公式如下：

SIDFt=log(Nspt)]]>

其中Ns等价于搜索引擎的索引总页面数，pt为一个检索查到词t的页面数。