[发明专利]文档主题词提取方法及装置

说明书

本发明公开了一种文档主题词提取方法及装置。所述方法包括：对目标文档进行分词处理，其中，所述目标文档为文档库中的任一文档；针对同一分词，根据该分词在所述目标文档中每次出现时的分词属性，获取与所述分词属性相对应的权值，并根据所述权值，确定该分词在所述目标文档中的词频权重；基于所述文档库，确定所述分词的逆向文档频率；基于所述词频权重和所述逆向文档频率，提取预定数量的分词作为所述目标文档的主题词。由此使得所提取出的主题词具有更高的准确性和可靠性，能够更客观地表示该文档的中心思想，从而能够为后续的文档分类、文档推荐等提供准确、可靠的数据支持，使得文档分类结果更为准确、文档推荐结果更符合用户需求等等。

技术领域

本发明涉及数据处理领域，具体地，涉及一种文档主题词提取方法及装置。

背景技术

主题词是一篇文章所表达的中心思想，主题信息挖掘是有效解决文档空间向量高维稀疏性，提高文本分类质量的重要手段，同时也在信息推荐中起到了重要的作用。评估一个词汇对于一个文档库中的其中一份文档的重要程度的算法常用的是TF(TermFrequency，词频)-IDF(Inverse Document Frequency，逆向文档频率)算法。

发明内容

本发明的目的是提供一种文档主题词提取方法及装置，以使得提取出的主题词更为准确。

为了实现上述目的，根据本发明的第一方面，提供一种文档主题词提取方法，所述方法包括：对目标文档进行分词处理，其中，所述目标文档为文档库中的任一文档；针对同一分词，根据该分词在所述目标文档中每次出现时的分词属性，获取与所述分词属性相对应的权值，并根据所述权值，确定该分词在所述目标文档中的词频权重；基于所述文档库，确定所述分词的逆向文档频率；基于所述词频权重和所述逆向文档频率，提取预定数量的分词作为所述目标文档的主题词。

在第一方面的一些可选的实施方式中，所述获取与所述分词属性相对应的权值，包括：判断所述分词属性是否满足多个预设条件中的至少一个预设条件；在所述分词属性不满足任一预设条件时，获取预设的基准权值作为与所述分词属性相对应的权值。

在第一方面的一些可选的实施方式中，所述获取与所述分词属性相对应的权值，还包括：在所述分词属性满足至少一个预设条件时，获取所述分词属性所满足的各个预设条件所对应的权值，并将获取到的各个预设条件所对应的权值的乘积作为与所述分词属性相对应的权值。

在第一方面的一些可选的实施方式中，所述分词属性包括分词位置、字体样式、字体号和分词内容；以及，所述多个预设条件包括：分词位置位于段首；分词位置位于标题；分词的字体样式为粗体；分词的字体样式为斜体；分词的字体号大于常规字体号；分词的字体号小于常规字体号；分词内容与预设的干扰词内容相匹配。

在第一方面的一些可选的实施方式中，所述分词位置位于段首这一预设条件所对应的权值、所述分词位置位于标题这一预设条件所对应的权值、所述分词的字体样式为粗体这一预设条件所对应的权值、所述分词的字体样式为斜体这一预设条件所对应的权值、以及所述分词的字体号大于常规字体号这一预设条件所对应的权值大于所述基准权值；以及所述分词的字体号小于常规字体号这一预设条件所对应的权值、所述分词内容与预设的干扰词内容相匹配这一预设条件所对应的权值小于所述基准权值。

在第一方面的一些可选的实施方式中，通过以下方式来确定该分词在所述目标文档中的词频权重：

其中，TFW表示分词的词频权重；W_n表示该分词在所述目标文档中第n次出现时的分词属性所对应的权值；N表示该分词在所述目标文档中的总出现次数；I表示所述目标文档中的分词总数。