[发明专利]一种热词确定方法、装置、终端及存储介质

说明书

本发明公开了一种热词确定方法、装置、终端及存储介质，该方法包括：对采集的文本信息进行语义分析，得到分词结果；统计各分词的第一词频；根据所述各分词的第一词频及预设各分词的逆向文档频率得到各分词的第二词频；对所述各分词的第二词频进行排序，根据排序结果确定热词。本发明提供的热词确定方法、装置、终端及存储介质，可以确定出更符合实际应用场景的热词，热词更具代表性。

技术领域

本发明涉及热词识别技术领域，特别涉及一种热词确定方法、装置、终端及存储介质。

背景技术

在当前互联网信息不断增长的背景下，如何快速获取海量信息中提及的事物、人物、现象等成为大家关注的热点。

目前，一种确定热词的方法是：将数据经过结构化处理，分词操作，然后存储，再经过统计每个词的词频，排序后取排名靠前的即为热词。

但是，现有技术中有以下不足之处：将文章进行分词处理后再统计出的词频并不能排除一些日常用词，日常用词词频很高，但并不是热词代表。

发明内容

本发明提供一种热词确定方法、装置、终端及存储介质，可以确定出更符合实际应用场景的热词，热词更具代表性。

第一方面，本发明实施例提供了一种热词确定方法，包括：

对采集的文本信息进行语义分析，得到分词结果；

统计各分词的第一词频；

根据所述各分词的第一词频及预设各分词的逆向文档频率得到各分词的第二词频；

对所述各分词的第二词频进行排序，根据排序结果确定热词。

优选地，所述根据所述各分词的第一词频及预设各分词的逆向文档频率得到各分词的第二词频，具体为：用所述各分词的第一词频除以预设各分词的逆向文档频率得到各分词的第二词频。

优选地，所述预设各分词的逆向文档频率的确定步骤为：采集微信预设时间段的文本信息，对所述文本信息进行分词，统计各分词的词频，根据所述各分词的词频确定各分词的逆向文档频率。

优选地，所述对采集的文本信息进行语义分析，得到分词结果，具体为：通过爬虫采集文本信息，对采集的文本信息进行去重和格式统一化处理，对处理后的文本信息进行语义分析，得到分词结果。

优选地，所述对所述各分词的第二词频进行排序，根据排序结果确定热词，具体为：对所述各分词的第二词频进行排序，取排序从高到低的预设数量的分词为热词。

第二方面，本发明实施例提供了一种热词确定装置，包括：

分词结果获取模块，用于对采集的文本信息进行语义分析，得到分词结果；

第一词频统计模块，用于统计各分词的第一词频；

第二词频确定模块，用于根据所述各分词的第一词频及预设各分词的逆向文档频率得到各分词的第二词频；

热词确定模块，用于对所述各分词的第二词频进行排序，根据排序结果确定热词。

优选地，所述第二词频确定模块中，根据所述各分词的第一词频及预设各分词的逆向文档频率得到各分词的第二词频，具体为：用所述各分词的第一词频除以预设各分词的逆向文档频率得到各分词的第二词频。

优选地，还包括逆向文档频率确定模块，用于采集微信预设时间段的文本信息，对所述文本信息进行分词，统计各分词的词频，根据所述各分词的词频确定各分词的逆向文档频率。