[发明专利]关键词提取方法和装置

说明书

本发明提供一种关键词提取方法和装置。该方法，包括：对待处理文章集合中的每篇文章进行分词处理，获取每篇文章包含的词语；针对每个所述词语，确定包含所述词语的文章所构成的集合；根据所述集合，确定每个所述词语的价值，所述价值用于表征每个所述词语区分主题的能力；根据每个所述词语的价值，确定待处理文章集合中每篇文章的关键词。无需预先建立关键词数据库，便可获得最能代表文章主题的关键词，提高了关键词提取的可靠性。

技术领域

本发明涉及数据处理技术，尤其涉及一种关键词提取方法和装置。

背景技术

在资讯类的手机应用中，需要给文章分类或打标签，以方便对文章进行归类，为后续针对不同用户提供个性化推送服务提供基础的数据支撑，在给文章分类或打标签过程中最基础的一项工作就是文章关键词的提取。

现有技术提供的提取关键词的方法为，从文本中提取至少一组词组，将每组词组和预设关键词数据库进行匹配，将匹配度最高的一组词组中的词语作为该文本的关键词。

然而，上述方法提取的关键词不能准确代表文本的主题，可靠性不高。

发明内容

本发明提供一种关键词提取方法和装置，用以提高关键词的可靠性。

本发明提供一种关键词提取方法，包括：

对待处理文章集合中的每篇文章进行分词处理，获取每篇文章包含的词语；

针对每个所述词语，确定包含所述词语的文章所构成的集合；

根据所述集合，确定每个所述词语的价值，所述价值用于表征每个所述词语区分主题的能力；

根据每个所述词语的价值，确定待处理文章集合中每篇文章的关键词。

可选的，所述根据所述集合，确定每个所述词语的价值，包括：

根据所述集合，确定每个词语和其他词语的相关系数，所述相关系数用于表征每个所述词语与其他词语共同区分主题的能力；

根据所述相关系数，确定每个所述词语的价值。

可选的，所述根据所述集合，确定每个词语和其他词语的相关系数，包括：

采用公式：

Sim_k,l＝|U_k∩U_l|/|U_k∪U_l|

计算每个词语和其他词语的相关系数，其中Sim_k,l为词语k和词语l的相关系数，U_k为包含词语k的文章的集合，U_l为中包含词语l的文章的集合。

可选的，所述根据所述相关系数，确定每个所述词语的价值，包括：

采用公式：

确定每个所述词语的价值，其中，Value_k为词语k的价值，Q为所有词语构成的集合。

可选的，所述根据每个所述词语的价值，确定待处理文章集合中每篇文章的关键词，包括：

采用公式：

Kvalue_i,k＝Value_k×count_i,k

计算每个所述词语在每篇文章中的价值，其中，Kvalue_i,k为词语k在文章i中的价值，count_i,k为词语k在文章i中出现的次数；