[发明专利]基于字段分析的数据去重方法、装置和计算机设备

说明书

本申请揭示了一种基于字段分析的数据去重方法、装置、计算机设备和存储介质，所述方法包括：获取待去重的n个原始数据；从每个原始数据中均选出第一字段、第二字段和第三字段；调用预设的n个初始三棱锥；对所述初始三棱锥进行调整处理，得到n个中间三棱锥；计算中间三棱锥之间的相似度，从而得到n×(n‑1)/2个三棱锥相似度值；若n×(n‑1)/2个三棱锥相似度值不均小于三棱锥相似度阈值，则构建至少一个相似数据组；对所述至少一个相似数据组进行合并处理，从而得到至少一个相似数据分类；对每个相似数据分类均进行删除处理，以使每个相似数据分类仅保留一个原始数据，完成去重处理操作。从而实现节省计算资源与去重准确性两方面的同时兼顾。

技术领域

本申请涉及到计算机领域，特别是涉及到一种基于字段分析的数据去重方法、装置、计算机设备和存储介质。

背景技术

数据去重，是指找出重复的数据并进行删除处理。传统的数据去重方案，一般采用两种方式进行去重，第一种是对数据的所有字段进行对比分析，另一种是选出部分字段进行对比分析。这样的数据去重方案存在缺陷：或者需要耗费大量的计算资源，或者去重不够准确，因此传统的数据去重方案无法兼顾节省计算资源与去重准确性。

发明内容

本申请的主要目的为提供一种基于字段分析的数据去重方法、装置、计算机设备和存储介质，旨在实现兼顾节省计算资源与去重准确性的数据去重方案。

为了实现上述发明目的，本申请提出一种基于字段分析的数据去重方法，包括以下步骤：

获取待去重的n个原始数据，其中n为大于等于2的整数；

根据预设的字段筛选方法，从每个原始数据中均选出第一字段、第二字段和第三字段，从而得到与所述n个原始数据分别对应的n个第一字段、n个第二字段和n个第三字段；其中所述第一字段包括的字符数最多，所述第二字段包括的字符数最少，所述第三字段为预先指定的字段；

在预设的虚拟空间中调用预设的n个初始三棱锥，所述初始三棱锥的三个侧面的底边均不相等，所述n个初始三棱锥彼此之间相等；

根据所述第一字段、第二字段和第三字段，对所述初始三棱锥进行调整处理，从而对应得到n个中间三棱锥；

根据预设的三棱锥相似度计算方法，计算所述n个中间三棱锥中的每两个中间三棱锥之间的相似度，从而得到n×(n-1)/2个三棱锥相似度值；

判断所述n×(n-1)/2个三棱锥相似度值是否均小于预设的三棱锥相似度阈值；

若所述n×(n-1)/2个三棱锥相似度值不均小于预设的三棱锥相似度阈值，则构建不小于所述三棱锥相似度阈值的三棱锥相似度值对应的至少一个相似数据组，其中每个所述相似数据组包括两个原始数据；

对所述至少一个相似数据组进行合并处理，从而得到至少一个相似数据分类；其中，所述合并处理指若一个原始数据同时存在于多个相似数据组，则将所述多个相似数据组合并为同一个相似数据分类；

对每个相似数据分类均进行删除处理，以使每个相似数据分类仅保留一个原始数据，从而完成对n个原始数据的去重处理操作。

进一步地，所述根据所述第一字段、第二字段和第三字段，对所述初始三棱锥进行调整处理的步骤,包括：

构建所述第一字段、第二字段和第三字段和所述初始三棱锥的三个侧面的对应关系，其中所述对应关系指第一字段对应的第一侧面的底边最长，第二字段对应的第二侧面的底边最短，所述第三字段对应于所述初始三棱锥中的第三侧面；

获取所述第一字段中的第一字符长度、所述第二字段中的第二字符长度和所述第三字段中的第三字符长度；

根据预设的字符长度与切除高度的对应关系，获取与所述第一字符长度、第一字符长度、第一字符长度分别对应的第一切除高度、第二切除高度、第三切除高度；