[发明专利]一种逐句段对比的相似文本查找方法及装置

说明书

本发明涉及数据处理技术领域，涉及一种逐句段对比的相似文本查找方法及装置。其中，该方法包括：对待处理文本以及多个对比文本均进行分段处理，得到对应的多个待处理段落以及每个对比文本的多个对比段落，计算得到所有段落的数字指纹，以数字指纹为基础确定出与待处理段落相同的对比段落，再对剩余的段落通过动态规划算法进行处理，最终得到待处理文本与每个对比文本的相似度，确定出相似度高的对比文本。本发明相较于现有技术中基于计算最小编辑距离和降维比对的方式进行查重，通过上述步骤能够以句段为单位结合数字指纹进行初步处理，再通过动态规划算法精确处理，既保证了查找比对的效率，同时使得得到的相似度结果更加准确。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种逐句段对比的相似文本查找方法及装置。

背景技术

目前，针对相似文本查找的任务主要有两种解决方法：计算最小编辑距离的方法和降维比对的方法。

计算最小编辑距离的方法，是通过计算将一个文本文档转化为另一个文本文档所需的最少编辑操作次数来实现的。此处编辑操作包括插入、删除和替换，编辑距离越小，两个文本文档的相似度越大。此种方法的局限之处在于其仅为依序逐字遍历比较，故无法识别出段落顺序不同但段落内容高度相同的相似文本。此方法需要从篇章开头逐字遍历正文内容，处理较长篇幅的文本过分耗时。

降维比对的方法，是通过将文本正文内容降维到低维向量空间上来实现的。基于“若两文本内容是相似的，那么分别映射到低维向量空间之后所得向量也是相似的”这一假设，将文本转化为向量或哈希值，分别通过计算两向量的夹角余弦值和两哈希值的海明距离来判定相似程度。此种方法的局限之处在于降维后文本被模糊化，无法将相似度精确表达出来，只可以低维空间上的数值为标准界定相似度是否达到既定标准。

有鉴于此，如何提供一种高效准确的相似文本查找方案，是本领域技术人员需要解决的。

发明内容

本发明的目的在于提供一种逐句段对比的相似文本查找方法及装置。

第一方面，本发明实施例提供一种逐句段对比的相似文本查找方法，应用于计算机设备，计算机设备与文本数据库服务器通信连接，文本数据库服务器存储有多个对比文本；

方法包括：

获取待处理文本；

基于预设分隔符将待处理文本和目标对比文本进行分段处理，得到待处理文本的多个待处理段落和目标对比文本的多个目标对比段落，其中，目标对比文本为多个对比文本中的任一个；

计算得到每个待处理段落和每个目标对比段落的数字指纹；

从多个待处理段落中确定出第一待处理段落、以及从多个目标对比段落中确定出第一对比段落，并统计得到相同段落参数，其中，第一对比段落的数字指纹与第一待处理段落的数字指纹相同；

在第二对比段落占多个目标对比段落中的占比不超过预设占比的条件下，对第二对比段落和第二待处理段落利用动态规划算法计算得到相似段落参数，其中，第二对比段落为多个目标对比段落中除第一对比段落外的段落，第二待处理段落为多个待处理段落中除第一待处理段落外的段落；

根据相同段落参数和相似段落参数计算得到待处理文本和目标对比文本的文本相似度；

重复上述步骤，直至确定出每个对比文本与待处理文本的文本相似度。

可选地，文本数据库服务器还存储有每个对比文本的文本长度，每个对比文本包括对应的标记，每个对比文本包括对应的对比前缀，方法还包括：

获取待处理文本并确定待处理文本的文本长度和标记，其中，待处理文本包括待处理前缀；

根据待处理文本的文本长度和每个对比文本的文本长度，构建文本处理列表，其中，待处理文本的标记和每个对比文本的标记按照文件长度在文本处理列表中进行排序；