[发明专利]文本相似度确定方法、装置、电子设备及系统在审

专利信息
申请号: 201410211478.9 申请日: 2014-05-19
公开(公告)号: CN105095162A 公开(公告)日: 2015-11-25
发明(设计)人: 刘洋;李霖;刘黎春;陈川 申请(专利权)人: 腾讯科技(深圳)有限公司
主分类号: G06F17/22 分类号: G06F17/22;G06F17/30
代理公司: 深圳市深佳知识产权代理事务所(普通合伙) 44285 代理人: 唐华明
地址: 518000 广东省深圳*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 文本 相似 确定 方法 装置 电子设备 系统
【权利要求书】:

1.一种文本相似度确定方法,其特征在于,包括:

获取至少两个文本;

将所获取的各文本映射到主题空间;

对映射至所述主题空间的各文本对应的向量进行降维处理;

确定降维处理后的各文本所对应的表征文本特征的哈希函数;

将各文本所对应的哈希函数进行二值化处理,得到各文本所对应的二进制编码,各文本所对应的二进制编码的长度一致;

通过各文本对应的二进制编码,确定文本之间的海明距离,通过文本之间的海明距离确定文本之间的文本相似度。

2.根据权利要求1所述的文本相似度确定方法,其特征在于,所述哈希函数包括k个特征函数,所述k个特征函数对应的k个特征值符合设定条件,一个特征值对应一个特征函数;所述k与降维处理后的各文本对应的空间维度数一致。

3.根据权利要求2所述的文本相似度确定方法,其特征在于,所述设定条件包括:所述k个特征函数所对应的k个特征值,为降维处理后的文本所对应的所有空间维度对应的特征值中最小的k个;

所述确定降维处理后的各文本所对应的表征文本特征的哈希函数包括:

对于降维处理后的每个文本所对应的每个空间维度,计算数量与k一致的特征函数和特征值,一个特征值对应一个特征函数;

对于每个文本,在计算出文本所对应的所有空间维度对应的特征函数和特征值后,选取计算结果中特征值的值排序最小的前k个的特征值所对应的特征函数作为文本对应的哈希函数。

4.根据权利要求3所述的文本相似度确定方法,其特征在于,所述对于降维处理后的每个文本所对应的每个空间维度,计算数量与k一致的特征函数包括:

对于降维处理后的每个文本所对应的每个空间维度,通过公式计算数量与k一致的特征函数;

其中,φi(x)表示第i维对应的特征函数,x表示文本对应向量在降维后的空间中第i维对应的值,b表示所有文本对应向量在第i维对应的值中的最大值,a表示所有文本对应向量在第i维对应的值中的最小值。

5.根据权利要求3所述的文本相似度确定方法,其特征在于,所述对于降维处理后的每个文本所对应的每个空间维度,计算数量与k一致的特征值包括:

对于降维处理后的每个文本所对应的每个空间维度,通过公式计算数量与k一致的特征值;

其中,λi表示第i维对应的特征值,x表示文本对应向量在降维后的空间中第i维对应的值,b表示所有文本对应向量在第i维对应的值中的最大值,a表示所有文本对应向量在第i维对应的值中的最小值。

6.根据权利要求2-5任一项所述的文本相似度确定方法,其特征在于,所述将各文本所对应的哈希函数进行二值化处理,得到各文本所对应的二进制编码包括:

对于各文本,将所述k个特征函数按照特征函数所对应的特征值由小至大的顺序,依序将特征函数代入公式yn(x)=sign(φn(x))得到k个编码值,按照得到编码值的前后顺序排列编码值,得到长度为k的二进制编码;其中,φn(x)表示第n个特征函数,n为1~k的整数。

7.根据权利要求1所述的文本相似度确定方法,其特征在于,所述方法还包括:

在确定文本之间的海明距离后,将文本之间的海明距离符合预定条件的关联文本作为搜索结果。

8.一种文本相似度确定装置,其特征在于,包括:

文本获取模块,用于获取至少两个文本;

映射模块,用于将所获取的各文本映射到主题空间;

降维模块,用于对映射至所述主题空间的各文本对应的向量进行降维处理;

哈希函数确定模块,用于确定降维处理后的各文本所对应的表征文本特征的哈希函数;

二值化处理模块,用于将各文本所对应的哈希函数进行二值化处理,得到各文本所对应的二进制编码,各文本所对应的二进制编码的长度一致;

海明距离确定模块,用于通过各文本对应的二进制编码,确定文本之间的海明距离;

相似度确定模块,用于通过文本之间的海明距离确定文本之间的文本相似度。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201410211478.9/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code