[发明专利]关键词提取方法、装置和电子设备

说明书

本发明提供了一种关键词提取方法、装置和电子设备，基于词在待处理文档中出现的频率，提取待处理文档中的候选关键词，生成备选词集，备选词集中包含有待处理文档中的备选关键词。利用备选词集，过滤待处理文档，以压缩待处理文档，生成过滤词集，使过滤词集中包含有上述备选关键词。最后，根据所述过滤词集中词的相邻关系，从所述过滤词集中提取所述待处理文档中的关键词。本发明的方案可以提升提取到的关键词的准确性。

技术领域

本发明涉及文本处理领域，具体而言，涉及一种关键词提取方法、装置和电子设备。

背景技术

随着信息技术的发展，数字化的信息正以惊人的速度增长。用户不可能浏览所有可能包含有相关信息的文档，而抽取文档中的关键词给用户提供参考，对用户精准的获取信息、降低用户获取信息的成本有着重大的意义。

文档的关键词通常是某些与文档主题高度相关的词语。传统依靠人工去阅读文本，然后提取文档终端关键词的方法，在文档数量剧增的情形下，已越来越不能满足实际应用的需求。因此，如何自动提取关键词是当前急需解决的一个问题。

发明内容

为了解决上述问题，本发明实施例提供了一种关键词提取方法、装置和电子设备。

第一方面，本发明实施例提供了一种关键词提取方法，包括以下步骤：

基于词在待处理文档中出现的频率，提取待处理文档中的候选关键词，生成备选词集；

基于所述备选词集，过滤所述待处理文档，生成过滤词集；

根据所述过滤词集中词的相邻关系，从所述过滤词集中提取所述待处理文档中的关键词。

在一种可能的设计中，所述基于词在待处理文档中出现的频率，提取待处理文档中的关键词，生成备选词集包括：

基于idf文件，利用词频-逆向文件频率tf-idf算法，提取所述待处理文档中的关键词，生成第一词集，其中，所述idf文件基于历史语料的逆向文件频率idf数据得到；

合并所述第一词集和第二词集中的词，生成所述备选词集，其中，所述第二词集基于频繁模式树fp-growth算法，对所述历史语料的高频词组进行统计得到。

在一种可能的设计中，所述基于词在待处理文档中出现的频率，提取待处理文档中的关键词，生成备选词集包括：

基于idf文件，利用词频-逆向文件频率tf-idf算法，提取所述待处理文档中的关键词，生成所述备选词集，其中，所述idf文件基于历史语料的逆向文件频率idf数据得到。

在一种可能的设计中，所述基于词在待处理文档中出现的频率，提取待处理文档中的候选关键词，生成备选词集之前，所述方法还包括：

对所述待处理文档进行分词处理；

从分词后的待处理文档中过滤掉停止词。

在一种可能的设计中，所述根据所述过滤词集中词的相邻关系，从所述过滤词集中提取所述待处理文档中的关键词，包括：

若所述过滤词集中的词语数小于词数阈值，根据所述过滤词集中词的相邻关系，利用tf-idf算法，提取所述过滤词集中的关键词。

在一种可能的设计中，所述根据所述过滤词集中词的相邻关系，从所述过滤词集中提取所述待处理文档中的关键词，包括：

若所述过滤词集中的词语数大于或等于词数阈值，根据所述过滤词集中词的相邻关系，利用texttrank算法，提取所述过滤词集中的关键词。

在一种可能的设计中，所述基于所述备选词集，过滤所述待处理文档，生成过滤词集包括：

获取所述待处理文档中的分词；