[发明专利]基于字段分析的数据去重方法、装置和计算机设备

摘要

本申请揭示了一种基于字段分析的数据去重方法、装置、计算机设备和存储介质，所述方法包括：获取待去重的n个原始数据；从每个原始数据中均选出第一字段、第二字段和第三字段；调用预设的n个初始三棱锥；对所述初始三棱锥进行调整处理，得到n个中间三棱锥；计算中间三棱锥之间的相似度，从而得到n×(n‑1)/2个三棱锥相似度值；若n×(n‑1)/2个三棱锥相似度值不均小于三棱锥相似度阈值，则构建至少一个相似数据组；对所述至少一个相似数据组进行合并处理，从而得到至少一个相似数据分类；对每个相似数据分类均进行删除处理，以使每个相似数据分类仅保留一个原始数据，完成去重处理操作。从而实现节省计算资源与去重准确性两方面的同时兼顾。