[发明专利]热词识别方法、装置及存储介质有效
申请号: | 201911035607.2 | 申请日: | 2019-10-29 |
公开(公告)号: | CN110765239B | 公开(公告)日: | 2023-03-28 |
发明(设计)人: | 王策;杜东 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F40/289;G06F40/30 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 邢惠童 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 识别 方法 装置 存储 介质 | ||
1.一种热词识别方法,其特征在于,所述方法包括:
获取当前时刻之前指定时间段内用户输入的多个查询语句;
根据所述多个查询语句构建N-Gram矩阵,所述N-Gram矩阵用于记录所述多个查询语句中任意两个词之间相邻的次数;
对所述N-Gram矩阵进行归一化;
对归一化后的N-Gram矩阵进行降维,得到语言模型,所述语言模型用于根据依赖词输出所述依赖词后续对应的预测词,所述依赖词包括至少一个词;
将所述多个查询语句输入所述语言模型,得到所述多个查询语句中每个依赖词的预测词;
当多个查询语句中任一依赖词在查询语句中后续的词与所述任一依赖词的预测词相同时,将所述任一依赖词的预测词确定为热词集合中的候选热词;
将所述热词集合中的候选热词确定为热词。
2.根据权利要求1所述的方法,其特征在于,所述对归一化后的N-Gram矩阵进行降维,得到所述语言模型,包括:
对归一化后的N-Gram矩阵中的每个值进行中心化;
获取进行所述中心化后的N-Gram矩阵的协方差矩阵;
对所述协方差矩阵进行特征值分解,得到多个特征值以及这多个特征值对应的特征向量;
将所述多个特征值中最大的n个特征值对应的特征向量构成所述语言模型,所述n为大于或等于1的整数。
3.根据权利要求1所述的方法,其特征在于,所述将所述热词集合中的候选热词确定为热词之前,所述方法还包括:
根据每个所述候选热词的边界熵以及作为查询语句的搜索次数确定每个所述候选热词的权重,所述边界熵与所述权重负相关,所述搜索次数与所述权重正相关;
去除所述热词集合中所述权重小于指定阈值的候选热词。
4.根据权利要求3所述的方法,其特征在于,所述根据每个所述候选热词的边界熵以及作为查询语句的搜索次数确定每个所述候选热词的权重,包括:
将所述多个候选热词划分为多个簇,每个簇包括至少一个所述候选热词,且同一个簇的候选热词所属的查询语句对应于同一个文档;
在每个所述簇中,根据每个候选热词的边界熵以及作为查询语句的搜索次数确定每个候选热词的权重。
5.根据权利要求1所述的方法,其特征在于,所述将所述热词集合中的候选热词确定为热词之前,所述方法还包括:
去除所述热词集合中满足指定条件的候选热词,所述指定条件包括以停用词开头或结尾、以空格为开头或结尾,或者字符数大于指定值。
6.一种热词识别装置,其特征在于,所述热词识别装置包括:
获取模块,用于获取当前时刻之前指定时间段内用户输入的多个查询语句;
模型构建模块,用于根据所述多个查询语句构建N-Gram矩阵,所述N-Gram矩阵用于记录所述多个查询语句中任意两个词之间相邻的次数;
对所述N-Gram矩阵进行归一化;
对归一化后的N-Gram矩阵进行降维,得到语言模型,所述语言模型用于根据依赖词输出所述依赖词后续对应的预测词,所述依赖词包括至少一个词;
输入模块,用于将所述多个查询语句输入所述语言模型,得到所述多个查询语句中每个依赖词的预测词;
集合建立模块,用于当多个查询语句中任一依赖词在查询语句中后续的词与所述任一依赖词的预测词相同时,将所述任一依赖词的预测词确定为热词集合中的候选热词;
热词确定模块,用于将所述热词集合中的候选热词确定为热词。
7.一种服务器,其特征在于,所述服务器包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至5任一所述的热词识别方法。
8.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至5任一所述的热词识别方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911035607.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:数据加密查询方法及装置
- 下一篇:多相关句子对的语义匹配评估方法