[发明专利]一种数据去重方法及装置

摘要

本发明实施例公开了一种数据去重方法，包括接收用户发送的待保存数据，按照预设单位将待保存数据切分成多个数据块，并计算多个数据块中的每个数据块的指纹；根据所述用户的用户特征从已保存的用户库中确定至少一个对比用户，其中，所述至少一个对比用户与所述用户拥有至少一个相同的用户特征；将所述至少一个对比用户对应的指纹作为样本对比库；将多个数据块中的每个待比较数据块的指纹与样本对比库中的指纹进行比较；存储多个数据块中的差异数据块；其中，所述差异数据块中的每个数据块的指纹与所述至少一个对比用户对应的指纹均不同。本发明实施例还公开了一种数据去重装置。采用本发明，可在保障重删率的前提下，减小样本对比库的容量。

主权项

一种数据去重方法，其特征在于，包括：接收用户发送的待保存数据，按照预设单位将所述待保存数据切分成多个数据块，并计算所述多个数据块中的每个数据块的指纹；根据所述用户的用户特征从已保存的用户库中确定至少一个对比用户，其中，所述至少一个对比用户与所述用户拥有至少一个相同的用户特征；将所述至少一个对比用户对应的指纹作为样本对比库；将所述多个数据块中的每个待比较数据块的指纹与所述样本对比库中的指纹进行比较；存储所述多个数据块中的差异数据块；其中，所述差异数据块中的每个数据块的指纹与所述至少一个对比用户对应的指纹均不同；所述根据用户的用户特征从已保存的用户库中确定至少一个对比用户，包括：根据所述用户的用户特征获取所述用户的用户特征码，将所述用户的用户特征码与预设掩码进行掩码计算，得到第一计算结果，其中，所述用户特征码用于表征所述用户的用户特征；将所述用户库中其他用户的用户特征码分别与所述预设掩码进行掩码计算，将所述其他用户中计算结果为所述第一计算结果的用户作为对比用户。