[发明专利]确定短文本相似度的方法和装置在审
申请号: | 201410645486.4 | 申请日: | 2014-11-11 |
公开(公告)号: | CN104391828A | 公开(公告)日: | 2015-03-04 |
发明(设计)人: | 冯仕堃;石磊;何径舟 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
主分类号: | G06F17/22 | 分类号: | G06F17/22 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 宋合成 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 确定 文本 相似 方法 装置 | ||
1.一种确定短文本相似度的方法,其特征在于,包括:
采用预设的第一模型和第二模型,获取第一词向量和第二词向量,所述第一词向量是第一短文本包含的词的词向量,所述第二词向量是第二短文本包含的词的词向量,其中,所述第一模型是词向量训练模型,所述第二模型是短文本相似度计算模型;
根据所述第一词向量获取第一投影值,以及,根据所述第二词向量获取第二投影值;
对所述第一投影值和所述第二投影值进行预设函数运算,得到运算后的函数值,并根据所述函数值确定所述第一短文本与所述第二短文本之间的相似度数值。
2.根据权利要求1所述的方法,其特征在于,所述采用预设的第一模型和第二模型,获取第一词向量和第二词向量,包括:
获取第一初始值和第二初始值,所述第一初始值是所述第一词向量的初始值,所述第二初始值是所述第二词向量的初始值;
交叉采用所述第一模型和所述第二模型,对所述第一初始值和所述第二初始值进行交叉迭代更新,直至迭代更新次数达到预设次数;
将迭代更新次数达到预设次数后,得到的所述第一初始值的更新后的值,以及所述第二初始值的更新后的值;
将所述第一初始值的更新后的值确定为所述第一词向量,以及,将所述第二初始值的更新后的值确定为所述第二词向量。
3.根据权利要求2所述的方法,其特征在于,采用所述第二模型对所述第一初始值和所述第二初始值进行迭代更新,包括:
采用如下公式进行迭代更新:
其中,WIi和WOi分别是第一初始值和第二初始值;WI′i和WO′i分别是第一初始值更新后的值和第二初始值更新后的值;α是第二模型中的学习率数值;和表示偏导运算;
T是第一短文本与第二短文本之间的相关度数值,T=0,表示第一短文本与第二短文本不相关,或者T=1,表示第一短文本与第二短文本相关;λ是预设的平衡第一模型和第二模型的参数;
o=f(vA·vB),f()是预设的函数,vA·vB表示vA与vB的内积运算;
vA=g(WIi),vB=g(WOi);
g()是预设的函数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410645486.4/1.html,转载请声明来源钻瓜专利网。