[发明专利]论文关键词提取系统及其方法

权利要求书

1.论文关键词提取系统，其特征在于：包括

训练集，包含了若干篇用于训练的论文；

词语筛选模块，用于获取论文中正文部分的词语形成词语训练集；

Jieba分词器，用于分词切割出论文中摘要、正文或总结中出现的所有词语训练集的词语；

清洗模块，用于将Jieba分词器提取出来的词语进行停用词清洗得到关键词语；

权重计算模型，用于计算关键词语在论文训练集内摘要或正文或总结的权重；

频率计算模型，用于计算关键词语在论文训练集内摘要或正文或总结的出现频率；

输出模型，用于输出关键字；

训练集中，获取训练集中论文正文的词语的方法如下：

S11、将论文中除正文内容以外的部分去除，获得论文的正文；

S12、使用正则表达式获取论文的正文中所有词语形成词语训练集；

Jieba分词器在进行分词切割时，具体包括：

S31、计算关键词语的长度分别占单个论文中摘要、正文和总结的总长度的比值；

S32、计算单个论文中摘要占论文训练集中所有论文的摘要的算术平均值，计算单个论文中正文占论文训练集中所有论文的正文的算术平均值，计算单个论文中总结占论文训练集中所有论文的总结的算术平均值；

S33、计算关键词语分别占训练集中摘要、正文和总结的权重；

所述步骤S31的公式如下：

其中，prop(p)为关键词语的长度分别占单个论文中摘要、正文和总结的总长度的比值，p的取值为1代表摘要，2代表正文，3代表总结，k为关键词语，len_i(k)为关键词语的总长度，m为关键词语的数量，len(p)为单个论文中摘要或正文或总结的总长度；

所述步骤S32中算术平均值的公式为：

其中，n为论文训练集中论文的数量，score(p)为单个论文摘要或正文或总结的得分情况；

所述步骤S33的公式如下：

其中，weight(p)为关键词语分别占训练集中摘要、正文和总结的权重；

清洗模块中关键词语在论文训练集内摘要或正文或总结的出现频率的公式如下：

其中，tf为关键词语在论文训练集内摘要或正文或总结的出现频率，j为关键词语在论文训练集内摘要或正文或总结的出现次数，N为训练集中摘要或正文或总结的词语数量；

权重计算模型中，关键词语在论文训练集内摘要的权重乘以关键词语在论文训练集内摘要出现频率得到关键词语在摘要中的得分，关键词语在论文训练集内正文的权重乘以关键词语在论文训练集内正文出现频率得到关键词语在正文中的得分，关键词语在论文训练集内总结的权重乘以关键词语在论文训练集内总结出现频率得到关键词语在总结中的得分，最后关键词语在摘要、正文和总结中的总得分得到关键字集合，得到关键字集合的公式如下：

K(p)＝tf(p)*weight(p),p＝[1,2,3]

其中，K(p)为摘要或正文或总结中关键字集合，K为关键字集合，另外，可对K进行降序排列，按照用户的需求输出K中排序靠前的关键字。

2.一种采用权利要求1所述的论文关键词提取系统进行论文关键词提取的方法，其特征在于：包括如下步骤：

S1、利用词语筛选模块获取训练集中论文正文的词语形成词语训练集；

S2、通过Jieba分词器分词切割出论文中摘要、正文或总结中出现的所有词语训练集的词语，并将该词语输入清洗模块进行停用词清洗，输出经过停用词清洗后的关键词语；

S3、将步骤S2的结果输入权重计算模型进行训练；

S4、将步骤S2的结果输入频率计算模型进行训练；

S5、将步骤S3和S4的输出结果输入到输出模型进行训练；

S6、将待提取关键字的论文输入到权重计算模型、频率计算模型和输出模型，得到关键字；

所述步骤S1中，获取训练集中论文正文的词语的方法如下：

S11、将论文中除正文内容以外的部分去除，获得论文的正文；

S12、使用正则表达式获取论文的正文中所有词语形成词语训练集；

所述步骤S3具体包括：

S31、计算关键词语的长度分别占单个论文中摘要、正文和总结的总长度的比值；

S32、计算单个论文中摘要占论文训练集中所有论文的摘要的算术平均值，计算单个论文中正文占论文训练集中所有论文的正文的算术平均值，计算单个论文中总结占论文训练集中所有论文的总结的算术平均值；

S33、计算关键词语分别占训练集中摘要、正文和总结的权重；

所述步骤S31的公式如下：

其中，prop(p)为关键词语的长度分别占单个论文中摘要、正文和总结的总长度的比值，p的取值为1代表摘要，2代表正文，3代表总结，k为关键词语，len_i(k)为关键词语的总长度，m为关键词语的数量，len(p)为单个论文中摘要或正文或总结的总长度；

所述步骤S32中算术平均值的公式为：

其中，n为论文训练集中论文的数量，score(p)为单个论文摘要或正文或总结的得分情况；

所述步骤S33的公式如下：

其中，weight(p)为关键词语分别占训练集中摘要、正文和总结的权重；

所述步骤S4中关键词语在论文训练集内摘要或正文或总结的出现频率的公式如下：

其中，tf为关键词语在论文训练集内摘要或正文或总结的出现频率，j为关键词语在论文训练集内摘要或正文或总结的出现次数，N为训练集中摘要或正文或总结的词语数量；

所述步骤S5中，关键词语在论文训练集内摘要的权重乘以关键词语在论文训练集内摘要出现频率得到关键词语在摘要中的得分，关键词语在论文训练集内正文的权重乘以关键词语在论文训练集内正文出现频率得到关键词语在正文中的得分，关键词语在论文训练集内总结的权重乘以关键词语在论文训练集内总结出现频率得到关键词语在总结中的得分，最后关键词语在摘要、正文和总结中的总得分得到关键字集合，得到关键字集合的公式如下：

K(p)＝tf(p)*weight(p),p＝[1,2,3]

其中，K(p)为摘要或正文或总结中关键字集合，K为关键字集合，另外，可对K进行降序排列，按照用户的需求输出K中排序靠前的关键字。