[发明专利]语义相似度计算方法、搜索结果处理方法和装置有效
申请号: | 201410721307.0 | 申请日: | 2014-12-02 |
公开(公告)号: | CN104462323B | 公开(公告)日: | 2018-02-27 |
发明(设计)人: | 张军;吴先超;刘占一 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;G06F17/27 |
代理公司: | 北京天健君律专利代理事务所(普通合伙)11461 | 代理人: | 罗延红,杨移 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 语义 相似 计算方法 搜索 结果 处理 方法 装置 | ||
1.一种语义相似度计算方法,其特征在于,所述方法包括:
获取第一文本串和第二文本串;
分别对所述第一文本串和所述第二文本串进行分词,生成分词结果;
根据所述分词结果分别将所述第一文本串和所述第二文本串分得的分词生成预定多个语义层;
将所述第一文本串的每个语义层都分别与所述第二文本串的所有语义层进行依存相似度计算得到N×N个依存相似度值,其中,所述N为所述第一文本串和所述第二文本串分得的分词生成的语义层的个数;
根据计算的N×N个依存相似度值计算所述第一文本串和所述第二文本串的语义相似度值;
其中,所述根据所述分词结果分别将所述第一文本串和所述第二文本串分得的分词生成预定多个语义层的处理包括:
对所述第一文本串和所述第二文本串中的任一文本串,进行如下分层处理:
由所述文本串的分词结果中的每单个分词作为一个元组生成包括多个元组的第一语义层;
由所述文本串的分词结果中相邻的每i个分词作为一个元组生成包括多个元组的第i语义层,其中,i≥2且i为正整数。
2.根据权利要求1所述的方法,其特征在于,所述将所述第一文本串的每个语义层都分别与所述第二文本串的所有语义层进行依存相似度计算得到N×N个依存相似度值的处理包括:
对于所述第一文本串的第i语义层<si1,si2,…sim>和所述第二文本串的第j语义层<wj1,wj2,…wjn>,根据元组sik和元组wjl之间的匹配概率以及元组sik和元组wjl之间的距离计算所述第i语义层和所述第j语义层的依存相似度。
3.根据权利要求2所述的方法,其特征在于,通过以下公式执行所述对于所述第一文本串的第i语义层<si1,si2,…sim>和所述第二文本串的第j语义层<wj1,wj2,…wjn>,根据元组sik和元组wjl之间的匹配概率以及元组sik和元组wjl之间的距离计算所述第i语义层和所述第j语义层的依存相似度的处理:
其中,si1,si2,…sim为所述第一文本串的第i语义层的m个元组,wj1,wj2,…wjn为所述第二文本串的第j 个语义层的n个元组,p(sik|wjl)为元组之间相似度的匹配概率表,alpha是预定的常量,1/|k-l+1|为两个元组间距离的惩罚参数。
4.根据权利要求3所述的方法,其特征在于,所述根据计算的N×N个依存相似度值计算所述第一文本串和所述第二文本串的语义相似度值的处理包括:
对所述N×N个依存相似度值进行加权融合,得到所述第一文本串和所述第二文本串的语义相似度值。
5.一种搜索结果处理方法,其特征在于,所述方法包括:
接收用户的搜索词;
根据所述搜索词获取多个搜索结果条目;
根据如权利要求1~4中任一项所述的方法分别计算所述搜索词与所述多个搜索结果条目的内容标题的语义相似度值;
根据所述语义相似度值对所述搜索结果条目进行排序;
发送经排序的搜索结果条目。
6.一种语义相似度计算装置,其特征在于,所述装置包括:
文本串获取模块,用于获取第一文本串和第二文本串;
文本串分词模块,用于分别对所述第一文本串和所述第二文本串进行分词,生成分词结果;
语义层生成模块,用于根据所述分词结果分别将所述第一文本串和所述第二文本串分得的分词生成预定多个语义层;
依存相似度值计算模块,用于将所述第一文本串的每个语义层都分别与所述第二文本串的所有语义层进行依存相似度计算得到N×N个依存相似度值,其中,所述N为所述第一文本串和所述第二文本串分得的分词生成的语义层的个数;
语义相似度值计算模块,用于根据计算的N×N个依存相似度值计算所述第一文本串和所述第二文本串的语义相似度值;
其中,所述语义层生成模块用于对所述第一文本串和所述第二文本串中的任一文本串,由所述文本串的分词结果中的每单个分词作为一个元组生成包括多个元组的第一语义层;由所述文本串的分词结果中相邻的每i个分词作为一个元组生成包括多个元组的第i语义层,其中,i≥2且i为正整数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410721307.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:基于物联网的个人电子回忆录构建系统和方法
- 下一篇:字符串比对方法和装置