[发明专利]中文语句相似度计算方法、计算装置以及计算机存储介质在审
申请号: | 201710265407.0 | 申请日: | 2017-04-21 |
公开(公告)号: | CN106970912A | 公开(公告)日: | 2017-07-21 |
发明(设计)人: | 杨鹏 | 申请(专利权)人: | 北京慧闻科技发展有限公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27 |
代理公司: | 北京睿邦知识产权代理事务所(普通合伙)11481 | 代理人: | 张丽新 |
地址: | 100044 北京市西城区西*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 中文 语句 相似 计算方法 计算 装置 以及 计算机 存储 介质 | ||
1.一种基于语义的中文语句相似度计算方法,包括:
接受用户输入的问题A;
对所述用户输入的问题A进行预处理;
对经过所述预处理的所述用户输入的问题A进行分词;
将所述用户输入的问题A与所述问题模板中的每个问题B进行匹配计算,获得所述用户输入的问题A与所述问题模板中的每个问题B之间的语句形态相似度score1和语义相似度score2;
根据所述语句形态相似度score1和所述语义相似度score2计算获得所述用户输入的问题A与所述问题模板中的每个问题B之间的语句相似度score;
从所述问题模板中选择与所述用户输入的问题A具有最高语句相似度的问题的答案推送给所述用户,
其中语句相似度score和语句形态相似度score1和语义相似度score2满足公式:score=a*score1+b*score2,a+b=1。
2.根据权利要求1所述的基于语义的中文语句相似度计算方法,其中所述问题模板是通过对问题文件进行预处理、分词后生成的。
3.根据权利要求1或2所述的基于语义的中文语句相似度计算方法,其中所述预处理包括去除空格、去除标点符号以及过滤停留词。
4.根据权利要求2所述的基于语义的中文语句相似度计算方法,其中将所述用户输入的问题A与所述问题模板中的每个问题B进行匹配计算,获得所述用户输入的问题A与所述问题模板中的每个问题B之间的语句形态相似度score1包括:
获得所述用户输入的问题A与所述问题模板中的每个问题B之间的编辑距离Dis(A,B);
根据所述编辑距离Dis(A,B)计算得到语句形态相似度score1,
其中Max(A,B)为问题A和问题B的句子的最大长度,所述编辑距离指从一个以字符为单位的字符串转换为另一个字符串所需要的最小编辑操作的代价数。
5.根据权利要求4所述的基于语义的中文语句相似度计算方法,其中所述编辑操作包括插入、删除和替换,所述插入、所述删除和所述替换的代价数均为1。
6.根据权利要求5所述的基于语义的中文语句相似度计算方法,其中获得所述用户输入的问题A与所述问题模板中的每个问题B之间的编辑距离Dis(A,B)包括:
获取分词后的所述问题A的词语个数n和所述问题B的词语个数m;
创建m*n维的二维数组d(n,m);
初始化该二维数组d(n,m),其中d[0,0]=0,d[0,i]=i,1≦i≦m,d[j,0]=j,1≦j≦n;
计算并获得j≠0且i≠0时的任意d[i,j]得到赋值后的二维数组d(n,m);
将d[n,m]作为所述用户输入的问题A与所述问题模板中的每个问题B之间的编辑距离Dis(A,B)。
7.根据权利要求6所述的基于语义的中文语句相似度计算方法,其中计算并获得j≠0且i≠0时的任意d[i,j]得到赋值后的二维数组d(n,m)包括:
利用删除操作由d[i][j-1]+删除操作的代价数计算得到d1[i,j];
利用插入操作由d[i-1][j]+插入操作的代价数计算得到d2[i,j];
利用替换操作由d[i-1][j-1]+替换操作的代价数计算得到d3[i,j];
将d1[i,j]、d2[i,j]和d3[i,j]取最小值而使得d[i,j]等于该最小值。
8.根据权利要求2所述的基于语义的中文语句相似度计算方法,其中获得所述用户输入的问题A与所述问题模板中的每个问题B之间的语义相似度score2包括:
根据分词结果计算问题A和问题B中任意两个词语之间的词语相似度;
对于问题A中的每个词语,选择问题B中的与该词语相似度最高的词语使得二者对应起来成为词语对;
问题A或问题B中的没有建立对应关系的词语与空词语对应,该词语对的相似度为零;
将所有词语对的相似度值相加后除以词语对的总对数而得到所述语义相似度score2。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京慧闻科技发展有限公司,未经北京慧闻科技发展有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710265407.0/1.html,转载请声明来源钻瓜专利网。