[发明专利]文本查重方法及装置、计算机可读存储介质、电子设备有效
申请号: | 201910770756.7 | 申请日: | 2019-08-20 |
公开(公告)号: | CN110532352B | 公开(公告)日: | 2023-10-27 |
发明(设计)人: | 张哲铭 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F40/194 |
代理公司: | 深圳市联鼎知识产权代理有限公司 44232 | 代理人: | 刘抗美 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 方法 装置 计算机 可读 存储 介质 电子设备 | ||
1.一种文本查重方法,其特征在于,包括:
从待查重文本中提取多个文字片段;
对各所述文字片段进行检索,获得各所述文字片段的检索结果列表;
从各所述检索结果列表包含的所有检索结果中,确定重复出现的检索结果为目标检索结果,获得目标检索结果集合;
确定所述目标检索结果集合对应的待比对文本集合;
利用所述待比对文本集合确定出所述待查重文本的查重率。
2.根据权利要求1所述的方法,其特征在于,所述从各所述检索结果列表包含的所有检索结果中,确定重复出现的检索结果为目标检索结果,获得目标检索结果集合,包括:
确定包含所述目标检索结果的检索结果列表,作为目标列表,确定所述目标检索结果在所述目标列表中的位置,作为第一指标;
根据所述目标检索结果的第一指标,计算所述目标检索结果与所述待查重文本的相关度;
获取所述相关度满足预设阈值的目标检索结果,作为目标检索结果集合。
3.根据权利要求2所述的方法,其特征在于,所述计算所述目标检索结果与所述待查重文本的相关度,包括:
获取所述目标检索结果的第一指标;
获取所述目标检索结果与对应的所述文字片段的命中率,作为所述目标检索结果的第二指标;
结合所述第一指标和所述第二指标,计算所述目标检索结果与所述待查重文本的相关度。
4.根据权利要求1所述的方法,其特征在于,所述从各所述检索结果列表包含的所有检索结果中,确定重复出现的检索结果为目标检索结果,获得目标检索结果集合,包括:
根据所述所有的检索结果,确定所述目标检索结果的出现概率;
获取所述出现概率满足预设阈值的目标检索结果,作为目标检索结果集合。
5.根据权利要求1所述的方法,其特征在于,所述利用所述待比对文本集合确定出所述待查重文本的查重率,包括:
将所述待比对文本集合中的待比对文本与所述待查重文本进行匹配,确定所述待比对文本与所述待查重文本的相似度;
如果所述待比对文本与所述待查重文本的相似度超过预设阈值,则确定所述待查重文本为重复文本。
6.根据权利要求1所述的方法,其特征在于,所述对各所述文字片段进行检索,获得各所述文字片段的检索结果列表,包括:
利用搜索引擎对各所述文字片段进行检索,基于所述搜索引擎对检索结果的排序获得各所述文字片段的检索结果列表。
7.根据权利要求1所述的方法,其特征在于,所述从待查重文本中提取多个文字片段,包括:
根据所述待查重文本的类型,从所述待查重文本中随机顺序提取多个文字片段。
8.一种文本查重装置,其特征在于,包括:
文本提取模块,用于从待查重文本中提取多个文字片段;
检索获取模块,用于对各所述文字片段进行检索,获得各所述文字片段的检索结果列表;
结果筛选模块,用于从各所述检索结果列表包含的所有检索结果中,确定重复出现的检索结果为目标检索结果,获得目标检索结果集合;
文本确定模块,用于确定所述目标检索结果集合对应的待比对文本集合;
查重率确定模块,用于利用所述待比对文本集合确定出所述待查重文本的查重率。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法。
10.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910770756.7/1.html,转载请声明来源钻瓜专利网。