[发明专利]文本查重方法及装置、计算机可读存储介质、电子设备有效

专利信息
申请号: 201910770756.7 申请日: 2019-08-20
公开(公告)号: CN110532352B 公开(公告)日: 2023-10-27
发明(设计)人: 张哲铭 申请(专利权)人: 腾讯科技(深圳)有限公司
主分类号: G06F16/33 分类号: G06F16/33;G06F40/194
代理公司: 深圳市联鼎知识产权代理有限公司 44232 代理人: 刘抗美
地址: 518000 广东省深圳*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 文本 方法 装置 计算机 可读 存储 介质 电子设备
【权利要求书】:

1.一种文本查重方法,其特征在于,包括:

从待查重文本中提取多个文字片段;

对各所述文字片段进行检索,获得各所述文字片段的检索结果列表;

从各所述检索结果列表包含的所有检索结果中,确定重复出现的检索结果为目标检索结果,获得目标检索结果集合;

确定所述目标检索结果集合对应的待比对文本集合;

利用所述待比对文本集合确定出所述待查重文本的查重率。

2.根据权利要求1所述的方法,其特征在于,所述从各所述检索结果列表包含的所有检索结果中,确定重复出现的检索结果为目标检索结果,获得目标检索结果集合,包括:

确定包含所述目标检索结果的检索结果列表,作为目标列表,确定所述目标检索结果在所述目标列表中的位置,作为第一指标;

根据所述目标检索结果的第一指标,计算所述目标检索结果与所述待查重文本的相关度;

获取所述相关度满足预设阈值的目标检索结果,作为目标检索结果集合。

3.根据权利要求2所述的方法,其特征在于,所述计算所述目标检索结果与所述待查重文本的相关度,包括:

获取所述目标检索结果的第一指标;

获取所述目标检索结果与对应的所述文字片段的命中率,作为所述目标检索结果的第二指标;

结合所述第一指标和所述第二指标,计算所述目标检索结果与所述待查重文本的相关度。

4.根据权利要求1所述的方法,其特征在于,所述从各所述检索结果列表包含的所有检索结果中,确定重复出现的检索结果为目标检索结果,获得目标检索结果集合,包括:

根据所述所有的检索结果,确定所述目标检索结果的出现概率;

获取所述出现概率满足预设阈值的目标检索结果,作为目标检索结果集合。

5.根据权利要求1所述的方法,其特征在于,所述利用所述待比对文本集合确定出所述待查重文本的查重率,包括:

将所述待比对文本集合中的待比对文本与所述待查重文本进行匹配,确定所述待比对文本与所述待查重文本的相似度;

如果所述待比对文本与所述待查重文本的相似度超过预设阈值,则确定所述待查重文本为重复文本。

6.根据权利要求1所述的方法,其特征在于,所述对各所述文字片段进行检索,获得各所述文字片段的检索结果列表,包括:

利用搜索引擎对各所述文字片段进行检索,基于所述搜索引擎对检索结果的排序获得各所述文字片段的检索结果列表。

7.根据权利要求1所述的方法,其特征在于,所述从待查重文本中提取多个文字片段,包括:

根据所述待查重文本的类型,从所述待查重文本中随机顺序提取多个文字片段。

8.一种文本查重装置,其特征在于,包括:

文本提取模块,用于从待查重文本中提取多个文字片段;

检索获取模块,用于对各所述文字片段进行检索,获得各所述文字片段的检索结果列表;

结果筛选模块,用于从各所述检索结果列表包含的所有检索结果中,确定重复出现的检索结果为目标检索结果,获得目标检索结果集合;

文本确定模块,用于确定所述目标检索结果集合对应的待比对文本集合;

查重率确定模块,用于利用所述待比对文本集合确定出所述待查重文本的查重率。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法。

10.一种电子设备,其特征在于,包括:

处理器;以及

存储器,用于存储所述处理器的可执行指令;

其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的方法。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910770756.7/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top