[发明专利]关键词提取方法、装置、存储介质和计算机设备

说明书

本申请涉及一种关键词提取方法、装置、计算机可读存储介质和计算机设备，所述方法包括：根据至少两种共现窗口分别对目标文本滑动取词，得到每种共现窗口下的多个词组合；基于词向量模型确定每个词组合中不同词之间的共现概率；在每个词组合中，将所述共现概率符合筛选条件的词确定为候选词；根据候选词在语料库中出现的条件概率，在各个词组合的候选词构成的候选词集合中，确定每种候选词对解释所述目标文本的贡献概率；将所述贡献概率符合阈值条件的候选词确定为关键词。本申请提供的方案可以提高关键词提取准确性。

技术领域

本申请涉及计算机技术领域，特别是涉及一种关键词提取方法、装置、存储介质和计算机设备。

背景技术

关键词是代表文本重要内容的一组词，对文本聚类、分类、自动摘要等具有重要的作用。目前，主流的关键词提取算法有多种，如TF-IDF、TextRank等。其中，TF-IDF主要是根据词频和逆文本频率来判断每个分词的重要性，这种方式只考虑单个词的信息量，会丢失词与词之间的相关性信息，使关键词提取准确性降低。TextRank是根据目标文本中词之间的共现关系来判断每个分词的重要性，这种方式虽然考虑了词之间的相关性信息，但由于是仅利用目标文本本身的信息实现关键词提取，所提取关键词的准确性依然不高。

发明内容

基于此，有必要针对关键词提取准确性差的技术问题，提供一种关键词提取方法、装置、计算机可读存储介质和计算机设备。

一种关键词提取方法，包括：

根据至少两种共现窗口分别对目标文本滑动取词，得到每种共现窗口下的多个词组合；

基于词向量模型确定每个词组合中不同词之间的共现概率；

在每个词组合中，将所述共现概率符合筛选条件的词确定为候选词；

根据候选词在语料库中出现的条件概率，在各个词组合的候选词构成的候选词集合中，确定每种候选词对解释所述目标文本的贡献概率；

将所述贡献概率符合阈值条件的候选词确定为关键词。

一种关键词提取装置，所述装置包括：

滑动取词模块，用于根据至少两种共现窗口分别对目标文本滑动取词，得到每种共现窗口下的多个词组合；

候选词筛选模块，用于基于词向量模型确定每个词组合中不同词之间的共现概率；在每个词组合中，将所述共现概率符合筛选条件的词确定为候选词；

贡献率测算模块，用于根据候选词在语料库中出现的条件概率，在各个词组合的候选词构成的候选词集合中，确定每种候选词对解释所述目标文本的贡献概率；

关键词提取模块，用于将所述贡献概率符合阈值条件的候选词确定为关键词。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述关键词提取方法的步骤。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述关键词提取方法的步骤。

上述关键词提取方法、装置、计算机可读存储介质和计算机设备，基于多种共现窗口分别对目标文本滑动取词，可以使目标文本中每个词出现在多个词组合中。基于词向量模型以词组合为单位衡量每个词与其他词共同出现的概率，筛选共现概率大的词为候选词，充分考虑了目标文本内部词与词之间的关联，相比单纯考虑词本身的信息量，可以提高候选词提取准确性；结合候选词在整个语料库中出现的条件概率，来评估其对解释目标文本的贡献概率，使贡献概率的计算得到了整个语料库语义信息的指导，相当于存在一个基准的条件概率作参考，相比单纯考虑目标文本本身的信息量，能够减少因目标文本内容的极端性带来的贡献概率准确性偏差，进而可以提高根据贡献概率在候选词集合中筛选关键词的准确性。