[发明专利]一种热词确定方法、装置及设备有效
申请号: | 201710931100.X | 申请日: | 2017-10-09 |
公开(公告)号: | CN107784087B | 公开(公告)日: | 2020-11-06 |
发明(设计)人: | 蔡巍;崔朝辉;赵立军;张霞 | 申请(专利权)人: | 东软集团股份有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 刘晓菲;王宝筠 |
地址: | 110179 辽*** | 国省代码: | 辽宁;21 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 确定 方法 装置 设备 | ||
1.一种热词确定方法,其特征在于,所述方法包括:
获取文本语料的共词网络,所述共词网络包括第一节点集合和所述第一节点集合中各个节点之间连接的边,所述节点表示特征词,所述特征词来源于所述文本语料,所述边表示所述特征词之间在所述文本语料中的共现关系,所述共现关系反映所述特征词之间共同出现的频率;
对所述共词网络进行K-核解析,得到所述第一节点集合中各个节点的核数;
将所述第一节点集合中核数大于或等于预设核数的节点确定为所述文本语料的热词;
所述获取文本语料的共词网络中的第一节点集合包括:
将所述文本语料以句子为单位进行拆分,每个句子均分别以字为单位划分为若干个单元;
计算相邻两个单元共同出现在一个句子中的句子个数以及各自单独出现在一个句子中的句子个数;
根据计算相邻两个单元共同出现在一个句子中的句子个数以及各自单独出现在一个句子中的句子个数,得到所述相邻两个单元的互信息和/或信息熵;
若所述相邻两个单元的互信息和/或信息熵满足第一预设条件,则将所述相邻两个单元合并为一个单元,然后返回执行计算相邻两个单元共同出现在一个句子中的句子个数以及各自单独出现在一个句子中的句子个数的步骤,以进行迭代,直到不再出现新的其互信息和/或信息熵满足所述第一预设条件的相邻两个单元;
将迭代完成后确定的单元作为节点形成所述第一节点集合。
2.根据权利要求1所述的方法,其特征在于,所述将所述第一节点集合中核数大于或等于预设核数的节点确定为所述文本语料的热词包括:
将所述第一节点集合中核数大于或等于预设核数且预设参数满足预设条件的节点确定为所述文本语料的热词,所述预设参数包括度值和/或度值中心度。
3.根据权利要求1所述的方法,其特征在于,所述第一节点集合中各个节点之间连接的边通过以下方式获取:
计算所述第一节点集合中第一节点和第二节点共同出现在所述文本语料的一个句子中的句子个数,以及各自单独出现在所述文本语料的一个句子中的句子个数,所述第一节点和所述第二节点为所述第一节点集合中的任意两个节点;
根据所述第一节点集合中第一节点和第二节点共同出现在所述文本语料的一个句子中的句子个数,以及各自单独出现在所述文本语料的一个句子中的句子个数,计算所述第一节点和所述第二节点的互信息;
若所述第一节点和所述第二节点的互信息满足第二预设条件,则建立所述第一节点和所述第二节点之间连接的边。
4.根据权利要求1所述的方法,其特征在于,所述第一节点集合中各个节点之间连接的边通过以下方式获取:
获取所述第一节点集合中第三节点和第四节点共同出现在所述文本语料的一个句子中时,与该句子中的其他节点共同出现在一个句子中的句子个数;
根据所述第三节点、所述第四节点和所述其他节点共同出现在一个句子中的句子个数,计算所述第三节点和所述第四节点的信息熵;
若所述第三节点和所述第四节点的信息熵满足第三预设条件,则建立所述第三节点和所述第四节点之间连接的边。
5.根据权利要求1所述的方法,其特征在于,所述文本语料包括第一文本语料和第二文本语料,所述方法还包括:
获取所述第一文本语料的热词和所述第二文本语料的热词的并集。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
将所述并集去除所述第一文本语料的热词,得到第一区别热词,所述第一区别热词为第二文本语料中的热词;
将所述并集去除所述第二文本语料的热词,得到第二区别热词,所述第二区别热词为第一文本语料中的热词。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东软集团股份有限公司,未经东软集团股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710931100.X/1.html,转载请声明来源钻瓜专利网。