[发明专利]一种数据去重方法及装置

权利要求书

1.一种数据去重方法，其特征在于，包括：

接收用户发送的待保存数据，按照预设单位将所述待保存数据切分成多个数据块，并计算所述多个数据块中的每个数据块的指纹；

根据所述用户的用户特征从已保存的用户库中确定至少一个对比用户，其中，所述至少一个对比用户与所述用户拥有至少一个相同的用户特征；

将所述至少一个对比用户对应的指纹作为样本对比库；

将所述多个数据块中的每个待比较数据块的指纹与所述样本对比库中的指纹进行比较；

存储所述多个数据块中的差异数据块；其中，所述差异数据块中的每个数据块的指纹与所述至少一个对比用户对应的指纹均不同；

所述根据用户的用户特征从已保存的用户库中确定至少一个对比用户，包括：

根据所述用户的用户特征获取所述用户的用户特征码，将所述用户的用户特征码与预设掩码进行掩码计算，得到第一计算结果，其中，所述用户特征码用于表征所述用户的用户特征；

将所述用户库中其他用户的用户特征码分别与所述预设掩码进行掩码计算，将所述其他用户中计算结果为所述第一计算结果的用户作为对比用户。

2.如权利要求1所述的方法，其特征在于，所述将所述至少一个对比用户对应的指纹作为样本对比库，包括：

将所述其他用户中计算结果为所述第一计算结果的所有用户的指纹作为样本对比库。

3.如权利要求1所述的方法，其特征在于，所述将所述至少一个对比用户对应的指纹作为样本对比库，包括：

将所述其他用户中计算结果为所述第一计算结果的每个用户根据所述每个用户的指纹量排序得到对比用户列表，根据指纹量的大小依次将所述对比用户列表中的单个用户的指纹作为样本对比库以便与待比较数据块的指纹进行比较。

4.如权利要求3所述的方法，其特征在于，所述将所述多个数据块中的每个待比较数据块的指纹与所述样本对比库中的指纹进行比较；存储所述多个数据块中的差异数据块，包括：

将待比较数据块的指纹与所述用户列表中的单个用户的指纹生成的样本对比库进行比较；

若当前比较的数据块的指纹在所述用户列表中的当前用户的指纹生成的样本对比库中不存在，且所述当前用户在所述用户列表中的排序高于指纹量最小的用户，则将所述当前比较的数据块归类为待比较数据块，以便将待比较数据块的指纹与所述用户列表中的下一个用户的指纹生成的样本对比库进行比较；

若所述当前比较的数据块的指纹在所述用户列表中的任一单个用户的指纹生成的样本对比库中都不存在，则所述当前比较的数据块为差异数据块，存储所述当前比较的数据块。

5.如权利要求1-4任一项所述的方法，其特征在于，在所述接收用户发送的待保存数据，按照预设单位将所述待保存数据切分成多个数据块，并计算所述多个数据块中的每个数据块的指纹之前，还包括：

根据用户库中的用户的用户特征将所述用户库中的用户分成至少两组，其中，位于同一组中的用户具有至少一个相同的用户特征；

从每组用户中选取一个当前指纹数量最多的用户作为对比用户；

将所有的对比用户的指纹作为原始样本对比库；

在所述根据所述用户的用户特征从已保存的用户库中选取至少一个对比用户，将所述至少一个对比用户对应的指纹作为样本对比库之前，还包括：

将所述每个数据块的指纹与所述原始样本对比库中的指纹进行比较，若当前比较的数据块的指纹在所述原始样本对比库中不存在，则将所述当前比较的数据块归类为待比较数据块。