[发明专利]关键词提取方法、装置、计算机设备及可读存储介质

说明书

本申请属于自然语言处理技术领域，提供了一种关键词提取方法、装置、计算机设备及可读存储介质，该方法包括：获取待提取文本，分别对待提取文本的各个词进行mask，得到各个被mask的词对应的mask文本；采用训练好的BERT模型分别提取待提取文本对应的第一词向量以及各个mask文本对应的第二词向量；分别对第一词向量以及各个第二词向量进行降噪处理，得到降噪第一词向量以及各个降噪第二词向量；根据第一词向量以及各个第二词向量，结合降噪第一词向量以及各个降噪第二词向量，确定各个被mask的词在待提取文本中的重要程度；根据各个被mask的词的重要程度从待提取文本中提取关键词。本申请能够提升关键词提取的精确性。

技术领域

本申请涉及自然语言处理技术领域，尤其涉及一种关键词提取方法、装置、计算机设备及可读存储介质。

背景技术

文本关键词提取是自然语言处理领域中的一大重要应用，主要用于主题分析、新闻分类等领域，通过文本关键词提取，可以对新闻进行快速分类或是对文章进行简单标签化。

相关技术中，TFIDF文本关键词提取方法因实现简单、相对容易理解等特点被广泛应用。TFIDF方法实质是利用各个单词的词频TF和逆文档频率IDF二者的乘积来衡量单词的重要程度，从而达到关键词提取的目的。其中，IDF值实质上是一种试图抑制噪音的加权，认为文本频率小的单词就重要程度越大，文本频率大的单词重要程度越小，其准确率依赖于精确的语料库，如果语料库中某类文本的频率较高，那么该类文本的关键词的IDF值也就会偏小；且仅仅从词频TF出发计算重要程度，这与实际生活中我们更关注主语、谓语、宾语等想法相悖。故此，TFIDF方法难以提取出反映文本语义的关键词，精确性不高。

发明内容

本申请的主要目的在于提供一种关键词提取方法、装置、计算机设备及可读存储介质，旨在解决相关技术中提取关键词的方式精确性不高的技术问题。

第一方面，本申请提供了一种关键词提取方法，所述方法包括：

获取待提取文本，分别对所述待提取文本的各个词进行mask，得到各个被mask的词对应的mask文本；

采用训练好的BERT模型分别提取所述待提取文本对应的第一词向量以及各个所述mask文本对应的第二词向量；

分别对所述第一词向量以及各个所述第二词向量进行降噪处理，得到降噪第一词向量以及各个降噪第二词向量；

根据所述第一词向量以及各个所述第二词向量，结合所述降噪第一词向量以及各个所述降噪第二词向量，确定各个所述被mask的词在所述待提取文本中的重要程度；

根据各个所述被mask的词的所述重要程度从所述待提取文本中提取关键词。

第二方面，本申请还提供了一种关键词提取装置，所述装置包括：

mask模块，用于获取待提取文本，分别对所述待提取文本的各个词进行mask，得到各个被mask的词对应的mask文本；

词向量提取模块，用于采用训练好的BERT模型分别提取所述待提取文本对应的第一词向量以及各个所述mask文本对应的第二词向量；

降噪模块，用于分别对所述第一词向量以及各个所述第二词向量进行降噪处理，得到降噪第一词向量以及各个降噪第二词向量；

确定模块，用于根据所述第一词向量以及各个所述第二词向量，结合所述降噪第一词向量以及各个所述降噪第二词向量，确定各个所述被mask的词在所述待提取文本中的重要程度；

关键词提取模块，用于根据各个所述被mask的词的所述重要程度从所述待提取文本中提取关键词。