[发明专利]一种数据去重方法、装置、设备及介质

权利要求书

1.一种数据去重方法，其特征在于，包括：

获取人脸数据库，所述人脸数据库包括多个人脸数据，且所述多个人脸数据中存在属于同一目标客体的人脸数据；

将所述多个人脸数据进行分片处理，得到分片序列集合；

对所述分片序列集合中的每个分片序列的内部进行去重处理，得到去重分片集合；

对所述去重分片集合中的第一去重分片和第二去重分片执行两两去重处理，得到第一去重序列；对所述去重分片集合中的第三去重分片和第四去重分片执行所述两两去重处理，得到第二去重序列；

对所述第一去重序列和所述第二去重序列执行所述两两去重处理，得到去重结果序列。

2.根据权利要求1所述的方法，其特征在于，所述将所述多个人脸数据进行分片处理，得到分片序列集合，包括：

获取分片数量；

根据所述分片数量对所述多个人脸数据进行分片处理，得到所述分片序列集合。

3.根据权利要求1所述的方法，其特征在于，所述分片序列集合包括第一分片序列，所述第一分片序列为所述第一分片序列集合中的任意一个分片序列；

所述对所述分片序列集合中的每个分片序列的内部进行去重处理，得到去重分片集合，包括：

对第一元素与第二元素进行相似度对比，所述第一元素与第二元素为所述第一分片序列中的任意两个元素，且所述第一元素的编号小于所述第二元素的编号；

若所述第一元素与第二元素的相似度大于预设阈值，则将第二元素删除，得到所述去重分片集合。

4.根据权利要求1所述的方法，其特征在于，所述第一去重分片与所述第二去重分片为所述去重分片集合中的两个不同的去重分片；

所述对所述去重分片集合中的第一去重分片和第二去重分片执行两两去重处理，得到第一去重序列，包括：

将所述第一去重分片拆分为多个部分，得到针对所述第一去重分片的至少一个去重分片部分；

将所述针对所述第一去重分片的至少一个去重分片部分中的每个去重分片部分的各个元素分别与所述第二去重分片中的各个元素进行相似度对比；

若第三元素与第四元素的相似度大于预设阈值，则将所述第三元素删除，得到所述第一去重序列；所述第三元素为所述第一去重分片中的任意一个元素，所述第四元素为所述第二去重分片中的任意一个元素。

5.根据权利要求1所述的方法，其特征在于，所述第三去重分片与所述第四去重分片为所述去重分片集合中的两个不同的去重分片，且与所述第一去重分片和所述第二去重分片均不相同；

所述对所述去重分片集合中的第三去重分片和第四去重分片执行所述两两去重处理，得到第二去重序列，包括：

将所述第三去重分片拆分为多个部分，得到针对所述第三去重分片的至少一个去重分片部分；

将所述针对所述第三去重分片的至少一个去重分片部分中的每个去重分片部分的各个元素分别与所述第第四去重分片中的各个元素进行相似度对比；

若第五元素与第六元素的相似度大于预设阈值，则将所述第五元素删除，得到所述第二去重序列；所述第五元素为所述第三去重分片中的任意一个元素，所述第六元素为所述第四去重分片中的任意一个元素。

6.根据权利要求1所述的方法，其特征在于，所述对所述第一去重序列和所述第二去重序列执行所述两两去重处理，得到去重结果序列，包括：

将所述第一去重序列拆分为多个部分，得到针对所述第一去重序列的至少一个去重序列部分；

将所述至少一个去重序列部分中的每个去重序列部分中的各个元素分别与所述第二去重序列中的各个元素进行相似度对比；

若第七元素与第八元素的相似度大于预设阈值，则将所述第七元素删除，得到所述去重结果序列；所述第七元素为所述第一去重序列中的任意一个元素，所述第八元素为所述第二去重序列中的任意一个元素。