[发明专利]关键词提取方法、装置、存储介质和计算机设备在审
申请号: | 201911076962.4 | 申请日: | 2019-11-06 |
公开(公告)号: | CN110826328A | 公开(公告)日: | 2020-02-21 |
发明(设计)人: | 李超 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F40/289 | 分类号: | G06F40/289;G06F16/35;G06F16/33;G06K9/62 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 于丽君 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 关键词 提取 方法 装置 存储 介质 计算机 设备 | ||
1.一种关键词提取方法,包括:
根据至少两种共现窗口分别对目标文本滑动取词,得到每种共现窗口下的多个词组合;
基于词向量模型确定每个词组合中不同词之间的共现概率;
在每个词组合中,将所述共现概率符合筛选条件的词确定为候选词;
根据候选词在语料库中出现的条件概率,在各个词组合的候选词构成的候选词集合中,确定每种候选词对解释所述目标文本的贡献概率;
将所述贡献概率符合阈值条件的候选词确定为关键词。
2.根据权利要求1所述的方法,其特征在于,所述基于词向量模型确定每个词组合中不同词之间的共现概率包括:
获取基于词向量模型及目标文本构建得到的第一哈夫曼树;所述第一哈夫曼树包括多个节点,所述节点包括根节点及目标文本中每个词对应的叶子节点;
确定每个叶子节点在所述第一哈夫曼树中的第一哈夫曼路径;
确定根节点基于第一哈夫曼路径转移至相应叶子节点的第一转移概率;
根据所述第一转移概率,确定每个词组合中不同词之间的共现概率。
3.根据权利要求1所述的方法,其特征在于,所述词组合包括中心词和相应的语境词;所述根据所述第一转移概率,确定每个词组合中不同词之间的共现概率包括:
根据所述第一转移概率,计算对应词在目标文本中出现的条件概率;
根据在目标文本中出现的条件概率,分别计算每个词组合中各个语境词与中心词的共现概率;
所述在每个词组合中,将共现概率符合筛选条件的词确定为候选词包括:
在每个词组合中,将所述共现概率符合筛选条件的语境词确定为候选词。
4.根据权利要求2所述的方法,其特征在于,所述确定根节点基于第一哈夫曼路径转移至相应叶子节点的第一转移概率包括:
确定所述第一哈夫曼路径上每个节点对应的节点向量及节点编码;所述第一哈夫曼路径包括串行连接的多个节点;
将所述第一哈夫曼路径上相邻节点中前序节点的节点向量输入预训练的分类模型,得到分类概率;
根据所述相邻节点中前序节点的所述分类概率以及后序节点的节点编码,确定相应相邻节点之间的第一转移概率。
5.根据权利要求3所述的方法,其特征在于,所述根据在目标文本中出现的条件概率,分别计算每个词组合中各个语境词与中心词的共现概率包括:
将所述语境词在目标文本中出现的条件概率,确定为所述语境词与各个词组合中的中心词的共现概率;
在每个词组合中,将共现概率符合筛选条件的语境词确定为候选词包括:
在每个词组合中,将所述共现概率最大的语境词确定为候选词。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取基于词向量模型及语料库构建得到的第二哈夫曼树;所述第二哈夫曼树包括多个节点;所述节点包括根节点及语料库中每个词对应的叶子节点;
确定目标文本中每个词对应叶子节点在第二哈夫曼树的第二哈夫曼路径;
根据所述根节点基于所述第二哈夫曼路径转移至相应叶子节点的第二转移概率,计算对应词在语料库中出现的条件概率。
7.根据权利要求1所述的方法,其特征在于,所述根据候选词在语料库中出现的条件概率,在各个词组合的候选词构成的候选词集合中,确定每种候选词对解释所述目标文本的贡献概率包括:
基于各个词组合的候选词构建候选词集合;
确定每种候选词在所述候选词集合的词频;
根据所述词频及条件概率确定相应候选词对解释目标文本的贡献概率。
8.根据权利要求7所述的方法,其特征在于,所述确定每种候选词在所述候选词集合的词频之前,所述方法还包括:
基于词向量模型确定候选词集合中各候选词所对应词向量间的相似距离;
将所述相似距离小于或等于预定阈值的多个词确定为同一种候选词。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911076962.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:双侧存储阵列
- 下一篇:一种辐射场条件下的包层运输辐照取样装置