[发明专利]一种基于改进TF‑IDF关键词提取算法

权利要求书

1.一种基于改进TF-IDF关键词提取算法，其特征在于：其包括以下步骤：

S1：将文本的输入形式统一格式化；

S2：将文本标准格式化，对Stanford NLP加载属性Properties配置文件；

S3：在Properties配置文件中根据定义的句子分隔符号，得到文本中的所有句子的集合Sentences；

S4：每次从集合Sentences中取出一条句子；

S5：获取当前的句子中所有的词语集合Tokens；

S6：每次从集合Tokens中取出一个token；

S7：得到当前token的字/词语和词性，并赋予不同的词性以不同的词性权值；

S8：计算当前句子中字/词语的总数及其位置百分比；

S9：在前面的操作中，获取了文本中所有的字/词语集合Words；

S10：每次从集合Words取出一个word；

S11：计算当前word的TF以及IDF；

S12：得到所有word的词性权值、位置权值、TF、IDF后，计算词语的权重W=TF*IDF+词性权值+位置权值，选取词语的权重W权值由大到小前5个word作为关键词输出。

2.根据权利要求1所述的一种基于改进TF-IDF关键词提取算法，其特征在于：所述步骤S1中统一格式化所包括的参数分别为标题、标签、摘要以及正文；若是对应的参数不存在则输入“”。

3.根据权利要求1所述的一种基于改进TF-IDF关键词提取算法，其特征在于：所述步骤S2中，文本标准格式化首先设定管道中包含的annotators时分别选择分词、分隔、词性标注、识别命名实体4个annotators，这四个annotators是对本发明进行文本处理所必须的；其次，加载各个annotator所需要的包以及设置对应的参数。

4.根据权利要求1所述的一种基于改进TF-IDF关键词提取算法，其特征在于：所述步骤S8中计算当前句子中字/词语的总数时除去不能成为关键词的词性的词语。

5.根据权利要求1所述的一种基于改进TF-IDF关键词提取算法，其特征在于：所述IDF的大小是以采集得到的10000篇新闻为测试数据集，计算出其中包含的每个单词的IDF并存储至配置文件，共包含了27万常见词语的IDF；需要使用时，直接从配置文件中读取相应单词的IDF值即可，无需统计所有文档中出现该单词的文档数，对于未存储在配置文件中的新词或者生僻词，将所有IDF的均值作为该词的IDF。

6.根据权利要求1所述的一种基于改进TF-IDF关键词提取算法，其特征在于：所述步骤S12中作为关键词的前5个word的每一个word的长度在2-6之间。