[发明专利]文本相似度计算方法、装置、计算机设备及存储介质在审
申请号: | 202211183199.7 | 申请日: | 2022-09-27 |
公开(公告)号: | CN115438666A | 公开(公告)日: | 2022-12-06 |
发明(设计)人: | 林加新 | 申请(专利权)人: | 中国平安人寿保险股份有限公司 |
主分类号: | G06F40/289 | 分类号: | G06F40/289;G06K9/62 |
代理公司: | 深圳众鼎专利商标代理事务所(普通合伙) 44325 | 代理人: | 张美君 |
地址: | 518000 广东省深圳市福田区益田路5033号*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 相似 计算方法 装置 计算机 设备 存储 介质 | ||
1.一种文本相似度计算方法,其特征在于,包括:
获取第一文本和第二文本,对所述第一文本进行分词处理,获得多个第一分词;对所述第二文本进行分词处理,获得多个第二分词;
获取各个所述第一分词的第一词位置参数和第一词归一化权重;获取各个所述第二分词的第二词位置参数和第二词归一化权重;
根据各个所述第一分词的第一词归一化权重和各个所述第二分词的第二词归一化权重确定各个所述第一分词的特征权重;
根据各个所述第一分词的第一词位置参数和各个所述第二分词的第二词位置参数确定各个所述第一分词的相对位置权重;
根据各个所述第一分词的第一词归一化权重、相同词在所述第一文本的第一位置差以及在所述第二文本的第二位置差,确定各个所述第一分词的上下文权重;
根据所述特征权重、所述相对位置权重和所述上下文权重确定所述第一文本相对于所述第二文本的相似度。
2.如权利要求1所述的文本相似度计算方法,其特征在于,所述获取各个所述第一分词的第一词归一化权重,包括:
通过预先训练的权重算法对各个所述第一分词进行权重计算,获得各个所述第一分词的第一词权重;
对所述第一词权重进行归一化处理,获得各个所述第一分词的所述第一词归一化权重。
3.如权利要求1所述的文本相似度计算方法,其特征在于,所述第一分词包括相同词和不同词;
所述根据各个所述第一分词的第一词归一化权重和各个所述第二分词的第二词归一化权重确定各个所述第一分词的特征权重之前,包括:
将各个所述第一分词与各个所述第二分词进行逐一比对;
将与任意一个所述第二分词相同的第一分词标记为相同词,将与所有所述第二分词均不相同的第一分词标记为不同词。
4.如权利要求1所述的文本相似度计算方法,其特征在于,所述第一分词包括相同词和不同词;
所述根据各个所述第一分词的第一词归一化权重和各个所述第二分词的第二词归一化权重确定各个所述第一分词的特征权重,包括:
当所述第一分词为相同词时,对所述相同词对应的第一词归一化权重和第二词归一化权重进行相乘运算,获得所述相同词的特征权重;
当所述第一分词为不同词时,对所述不同词对应的第一词归一化权重进行取负值,获得所述不同词的特征权重。
5.如权利要求1所述的文本相似度计算方法,其特征在于,所述第一分词包括相同词和不同词;
所述根据各个所述第一分词的第一词位置参数和各个所述第二分词的第二词位置参数确定各个所述第一分词的相对位置权重,包括:
当所述第一分词为相同词时,对所述相同词对应的第一词位置参数和第二词位置参数进行第一指数运算,获得所述相同词的相对位置权重;
当所述第一分词为不同词时,将所述不同词的相对位置权重设置为零。
6.如权利要求1所述的文本相似度计算方法,其特征在于,所述第一分词包括相同词和不同词;
所述根据各个所述第一分词的第一词归一化权重、相同词在所述第一文本的第一位置差以及在所述第二文本的第二位置差,确定各个所述第一分词的上下文权重,包括:
获取多个所述相同词中的两个所述相同词并进行上下文标记,获得上文相同词和下文相同词;
根据所述上文相同词在所述第一文本的第一词位置参数和所述下文相同词在所述第一文本的第一词位置参数确定所述第一位置差,并根据所述第一位置差确定第一上下文位置权重;根据所述上文相同词在所述第二文本的第二词位置参数和所述下文相同词在所述第二文本的第二词位置参数确定所述第二位置差,并根据所述第一位置差和所述第二位置差确定第二上下文位置权重;
获取所述下文相同词的第一词归一化权重,对所述下文相同词的第一词归一化权重、所述第一上下文位置权重和所述第二上下文位置权重进行相乘运算,获得所述上文相同词的上下文权重;
将所述不同词的上下文权重设置为零。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国平安人寿保险股份有限公司,未经中国平安人寿保险股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211183199.7/1.html,转载请声明来源钻瓜专利网。