[发明专利]一种基于改进TF‑IDF关键词提取算法

摘要

本发明公开一种基于改进TF‑IDF关键词提取算法，其包括以下步骤S1将文本的输入形式统一格式化；S2对Stanford NLP加载配置文件；S3在配置文件中得到文本中的所有句子集合Sentences；S4每次从Sentences中取一句子；S5获取当前的句子中所有词语集合Tokens；S6每次从Tokens中取一token；S7得到当前token的字/词语和词性，并赋予不同词性权值；S8计算当前句子中字/词语的总数及其位置百分比；S9获取文本中所有字/词语集合Words；S10每次从Words取一word；S11计算当前word的TF和IDF；S12计算所有word词语的权重W，依据词语的权重W选取关键词。本发明增加词性因子，提高提取准确度，解决构造Pat‑tree等空间复杂的问题。

主权项

一种基于改进TF‑IDF关键词提取算法，其特征在于：其包括以下步骤：S1：将文本的输入形式统一格式化；S2：将文本标准格式化，对Stanford NLP加载属性Properties配置文件；S3：在Properties配置文件中根据定义的句子分隔符号，得到文本中的所有句子的集合Sentences；S4：每次从集合Sentences中取出一条句子；S5：获取当前的句子中所有的词语集合Tokens；S6：每次从集合Tokens中取出一个token；S7：得到当前token的字/词语和词性，并赋予不同的词性以不同的词性权值；S8：计算当前句子中字/词语的总数及其位置百分比；S9：在前面的操作中，获取了文本中所有的字/词语集合Words；S10：每次从集合Words取出一个word；S11：计算当前word的TF以及IDF；S12：得到所有word的词性权值、位置权值、TF、IDF后，计算词语的权重W=TF*IDF+词性权值+位置权值，选取词语的权重W权值由大到小前5个word作为关键词输出。