[发明专利]文本相似度确定方法、装置、电子设备及系统在审
申请号: | 201410211478.9 | 申请日: | 2014-05-19 |
公开(公告)号: | CN105095162A | 公开(公告)日: | 2015-11-25 |
发明(设计)人: | 刘洋;李霖;刘黎春;陈川 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F17/22 | 分类号: | G06F17/22;G06F17/30 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 唐华明 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 相似 确定 方法 装置 电子设备 系统 | ||
1.一种文本相似度确定方法,其特征在于,包括:
获取至少两个文本;
将所获取的各文本映射到主题空间;
对映射至所述主题空间的各文本对应的向量进行降维处理;
确定降维处理后的各文本所对应的表征文本特征的哈希函数;
将各文本所对应的哈希函数进行二值化处理,得到各文本所对应的二进制编码,各文本所对应的二进制编码的长度一致;
通过各文本对应的二进制编码,确定文本之间的海明距离,通过文本之间的海明距离确定文本之间的文本相似度。
2.根据权利要求1所述的文本相似度确定方法,其特征在于,所述哈希函数包括k个特征函数,所述k个特征函数对应的k个特征值符合设定条件,一个特征值对应一个特征函数;所述k与降维处理后的各文本对应的空间维度数一致。
3.根据权利要求2所述的文本相似度确定方法,其特征在于,所述设定条件包括:所述k个特征函数所对应的k个特征值,为降维处理后的文本所对应的所有空间维度对应的特征值中最小的k个;
所述确定降维处理后的各文本所对应的表征文本特征的哈希函数包括:
对于降维处理后的每个文本所对应的每个空间维度,计算数量与k一致的特征函数和特征值,一个特征值对应一个特征函数;
对于每个文本,在计算出文本所对应的所有空间维度对应的特征函数和特征值后,选取计算结果中特征值的值排序最小的前k个的特征值所对应的特征函数作为文本对应的哈希函数。
4.根据权利要求3所述的文本相似度确定方法,其特征在于,所述对于降维处理后的每个文本所对应的每个空间维度,计算数量与k一致的特征函数包括:
对于降维处理后的每个文本所对应的每个空间维度,通过公式计算数量与k一致的特征函数;
其中,φi(x)表示第i维对应的特征函数,x表示文本对应向量在降维后的空间中第i维对应的值,b表示所有文本对应向量在第i维对应的值中的最大值,a表示所有文本对应向量在第i维对应的值中的最小值。
5.根据权利要求3所述的文本相似度确定方法,其特征在于,所述对于降维处理后的每个文本所对应的每个空间维度,计算数量与k一致的特征值包括:
对于降维处理后的每个文本所对应的每个空间维度,通过公式计算数量与k一致的特征值;
其中,λi表示第i维对应的特征值,x表示文本对应向量在降维后的空间中第i维对应的值,b表示所有文本对应向量在第i维对应的值中的最大值,a表示所有文本对应向量在第i维对应的值中的最小值。
6.根据权利要求2-5任一项所述的文本相似度确定方法,其特征在于,所述将各文本所对应的哈希函数进行二值化处理,得到各文本所对应的二进制编码包括:
对于各文本,将所述k个特征函数按照特征函数所对应的特征值由小至大的顺序,依序将特征函数代入公式yn(x)=sign(φn(x))得到k个编码值,按照得到编码值的前后顺序排列编码值,得到长度为k的二进制编码;其中,φn(x)表示第n个特征函数,n为1~k的整数。
7.根据权利要求1所述的文本相似度确定方法,其特征在于,所述方法还包括:
在确定文本之间的海明距离后,将文本之间的海明距离符合预定条件的关联文本作为搜索结果。
8.一种文本相似度确定装置,其特征在于,包括:
文本获取模块,用于获取至少两个文本;
映射模块,用于将所获取的各文本映射到主题空间;
降维模块,用于对映射至所述主题空间的各文本对应的向量进行降维处理;
哈希函数确定模块,用于确定降维处理后的各文本所对应的表征文本特征的哈希函数;
二值化处理模块,用于将各文本所对应的哈希函数进行二值化处理,得到各文本所对应的二进制编码,各文本所对应的二进制编码的长度一致;
海明距离确定模块,用于通过各文本对应的二进制编码,确定文本之间的海明距离;
相似度确定模块,用于通过文本之间的海明距离确定文本之间的文本相似度。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410211478.9/1.html,转载请声明来源钻瓜专利网。