[发明专利]文本相似度分析的方法、装置及存储介质有效
申请号: | 202110651197.5 | 申请日: | 2021-06-10 |
公开(公告)号: | CN113255369B | 公开(公告)日: | 2023-02-03 |
发明(设计)人: | 方俊波 | 申请(专利权)人: | 平安国际智慧城市科技股份有限公司 |
主分类号: | G06F40/30 | 分类号: | G06F40/30;G06N3/04;G06N3/08 |
代理公司: | 深圳中一联合知识产权代理有限公司 44414 | 代理人: | 路亚芳 |
地址: | 518000 广东省深圳市前海深港合*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 相似 分析 方法 装置 存储 介质 | ||
1.一种文本相似度检测的方法,其特征在于,包括:
获取输入的基础文本和比对文本,所述基础文本包括至少一个基础段落,所述比对文本包括至少一个比对段落;
根据分段识别符分别识别所述基础段落和所述比对段落;
将所述基础段落和所述比对段落输入孪生网络;
根据所述孪生网络获取每个所述基础段落对应的相似度最高的N个所述比对段落,N为大于或等于1的整数;
根据所述基础段落和所述N个比对段落进行切词,获取所述基础段落对应的多个基础短语块,以及所述N个比对段落对应的多个比对短语块;
计算所述基础短语块和所述比对短语块之间的最小编辑距离;
当所述最小编辑距离为0时,输出所述基础短语块和所述比对短语块为相似词对;
当所述最小编辑距离不为0时,计算所述基础短语块和所述比对短语块的余弦相似度,且当所述余弦相似度大于预设阈值时,输出所述基础短语块和所述比对短语块为相似词对。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述相似词对,对所述基础文本和所述比对文本中的目标内容进行联动显示。
3.根据权利要求2所述的方法,其特征在于,所述根据所述相似词对,对所述基础文本和所述比对文本中的目标内容进行显示,具体包括:
根据所述相似词对,对所述基础文本和所述比对文本中的所述相似词对进行联动显示;或者,
根据所述相似词对,对所述基础文本和所述比对文本中的差异内容进行联动显示。
4.根据权利要求3所述的方法,其特征在于,显示相似度检测结果界面,所述相似度检测结果界面包括基础文本显示区域和比对文本显示区域;
所述根据所述相似词对,对所述基础文本和所述比对文本中的所述相似词对进行联动显示,具体包括:
当选中所述相似词对中的基础短语块时,所述比对文本显示区域自动定位至所述相似词对中的比对短语块;或者,
当选中所述基础短语块时,所述基础短语块和与所述基础短语块相似的比对词语显示相同的显示标识符。
5.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
当所述基础文本和所述比对文本的格式不相同时,将所述基础文本和所述比对文本转换为相同的格式。
6.一种文本相似度检测的装置,其特征在于,包括:
接收模块,用于获取输入的基础文本和比对文本,所述基础文本包括至少一个基础段落,所述比对文本包括至少一个比对段落;
切词模块,用于根据分段识别符识别所述基础段落和所述比对段落;将所述基础段落和所述比对段落输入孪生网络;根据所述孪生网络获取每个所述基础段落对应的相似度最高的N个所述比对段落,N为大于或等于1的整数;根据所述基础段落和所述N个比对段落进行切词,获取所述基础段落对应的多个基础短语块,以及所述比对段落对应的比对短语块;
处理模块,用于计算所述基础短语块和所述比对短语块之间的最小编辑距离;
输出模块,用于当所述最小编辑距离为0时,输出所述基础短语块和所述比对短语块为相似词对;
所述处理模块,还用于当所述最小编辑距离不为0时,计算所述基础短语块和所述比对短语块的余弦相似度;
所述输出模块,还用于当所述余弦相似度大于预设阈值时,输出所述基础短语块和所述比对短语块为相似词对。
7.一种文本相似度检测的装置,其特征在于,包括:
至少一个处理器;
至少一个存储器,所述存储器存储有计算机程序指令,当所述计算机程序指令被所述处理器调用时,使得如权利要求1至5中任一项所述的方法得以实现。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机程序指令,当所述计算机程序指令被计算机执行时,使得如权利要求1至5中任一项所述的方法得以实现。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安国际智慧城市科技股份有限公司,未经平安国际智慧城市科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110651197.5/1.html,转载请声明来源钻瓜专利网。