[发明专利]文本查重方法及装置、计算机可读存储介质、电子设备

说明书

本公开提供一种文本查重方法、文本查重装置、电子设备、计算机可读存储介质；涉及文本处理技术领域。所述文本查重方法包括：从待查重文本中提取多个文字片段；对各所述文字片段进行检索，获得各所述文字片段的检索结果列表；从各所述检索结果列表包含的所有检索结果中，确定重复出现的检索结果为目标检索结果，获得目标检索结果集合；确定所述目标检索结果集合对应的待比对文本集合；利用所述待比对文本集合确定出所述待查重文本的查重率。本公开可以在没有文本资源准备的前提下，仍能够准确地确定文本的查重率。

技术领域

本公开涉及文本处理技术领域，具体而言，涉及一种文本查重方法、文本查重装置、计算机可读存储介质以及电子设备。

背景技术

在科学文化事业的发展中，作品的正当传播和使用无论对于作者还是传播者都是尤为重要的，因此对原创作品的版权进行验证以及保护成为非常必要的环节。

对于发布原创文章的平台来说，在文章上线前需要确保文章没有抄袭别人，具有唯一性；在文章上线之后也需要及时发现别人的抄袭行为；以在必要时能够利用法律途径维护作者以及平台的合法权益。现有技术中对文章进行查重的方案，大多是通过爬虫技术获取大量的文章保存在数据库内，再一一匹配文章的相似度。然而，这种方案过于依赖于资源的全面性，需要爬虫不停地获取新资源，而且会占用大量的数据库存放空间。如果数据库中的文章资源没有及时更新则根据文章匹配的相似度来确定文章是否具有唯一性是不可靠的。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种文本查重方法、文本查重装置、电子设备以及计算机可读存储介质，进而在一定程度上克服由于相关技术的限制和缺陷而导致的，在新的资源获取的不及时或者不全面时造成的文本查重率不可靠的问题。

根据本公开的第一方面，提供一种文本查重方法，包括：

从待查重文本中提取多个文字片段；

对各所述文字片段进行检索，获得各所述文字片段的检索结果列表；

从各所述检索结果列表包含的所有检索结果中，确定重复出现的检索结果为目标检索结果，获得目标检索结果集合；

确定所述目标检索结果集合对应的待比对文本集合；

利用所述待比对文本集合确定出所述待查重文本的查重率。

在本公开的一种示例性实施例中，所述从各所述检索结果列表包含的所有检索结果中，确定重复出现的检索结果为目标检索结果，获得目标检索结果集合，包括：

确定包含所述目标检索结果的检索结果列表，作为目标列表，确定所述目标检索结果在所述目标列表中的位置，作为第一指标；

根据所述目标检索结果的第一指标，计算所述目标检索结果与所述待查重文本的相关度；

获取所述相关度满足预设阈值的目标检索结果，作为目标检索结果集合。

在本公开的一种示例性实施例中，所述计算所述目标检索结果与所述待查重文本的相关度，包括：

获取所述目标检索结果的第一指标；

确定所述目标检索结果与对应的所述文字片段的命中率，作为所述目标检索结果的第二指标；

结合所述第一指标和所述第二指标，计算所述目标检索结果与所述待查重文本的相关度。

在本公开的一种示例性实施例中，所述从各所述检索结果列表包含的所有检索结果中，确定重复出现的检索结果为目标检索结果，获得目标检索结果集合，包括：

根据所述所有的检索结果，确定所述目标检索结果的出现概率；