[发明专利]一种重复数据确定方法、系统及分布式存储系统

权利要求书

1.一种重复数据确定方法，其特征在于，应用于分布式存储系统，包括：

判断目标写入数据的数据指纹是否存在于预设的数据指纹字典中；其中，所述数据指纹字典为用于存储特定数据指纹的数据库，所述特定数据指纹为所述分布式存储系统中满足预设数据筛选条件的数据的指纹；

若所述目标写入数据的数据指纹存在于所述数据指纹字典中，则将所述目标写入数据确定为重复数据。

2.根据权利要求1所述的方法，其特征在于，所述预设数据筛选条件为用于对所述分布式存储系统中数据类型与预设类型相一致的数据进行筛选的筛选条件。

3.根据权利要求1所述的方法，其特征在于，所述预设数据筛选条件为用于从所述分布式存储系统中对被访问频率大于预设频率阈值的数据进行筛选的筛选条件。

4.根据权利要求1所述的方法，其特征在于，所述预设数据筛选条件为用于从所述分布式存储系统中对数据安全系数大于预设系数阈值的数据进行筛选的筛选条件。

5.根据权利要求1至4任一项所述的方法，其特征在于，还包括：

将所述数据指纹字典预先存储于所述分布式存储系统的内存中。

6.一种重复数据确定系统，其特征在于，应用于分布式存储系统，包括：

数据判断模块，用于判断目标写入数据的数据指纹是否存在于预设的数据指纹字典中；其中，所述数据指纹字典为用于存储特定数据指纹的数据库，所述特定数据指纹为所述分布式存储系统中满足预设数据筛选条件的数据的指纹。

数据确定模块，用于若所述目标写入数据的数据指纹存在于所述数据指纹字典中，则将所述目标写入数据确定为重复数据。

7.根据权利要求6所述的系统，其特征在于，还包括：

第一字典创建模块，用于创建存储第一类特定数据指纹的数据指纹字典；

其中，所述第一类特定数据指纹为所述分布式存储系统中满足第一预设数据筛选条件的数据指纹，并且，所述第一预设数据筛选条件为用于对所述分布式存储系统中数据类型与预设类型相一致的数据进行筛选的筛选条件；

第一筛选单元，用于对所述分布式存储系统中数据类型与预设类型相一致的数据进行筛选。

8.根据权利要求6所述的系统，其特征在于，还包括：

第二字典创建模块，用于创建存储第二类特定数据指纹的数据指纹字典；

其中，所述第二类特定数据指纹为所述分布式存储系统中满足第二预设数据筛选条件的数据指纹，并且，所述第二预设数据筛选条件为用于对所述分布式存储系统中对被访问频率大于预设频率阈值的数据进行筛选的筛选条件。

第二筛选单元，用于对所述分布式存储系统中对被访问频率大于预设频率阈值的数据进行筛选。

9.根据权利要求6所述的系统，其特征在于，还包括：

第三字典创建模块，用于创建存储第三类特定数据指纹的数据指纹字典；

其中，所述第三类特定数据指纹为所述分布式存储系统中满足第三预设数据筛选条件的数据指纹，并且，所述第三预设数据筛选条件为用于对所述分布式存储系统中对数据安全系数大于预设系数阈值的数据进行筛选的筛选条件。

第三筛选单元，用于对所述分布式存储系统中对数据安全系数大于预设系数阈值的数据进行筛选。

10.根据权利要求6至9任一项所述的系统，其特征在于，还包括：

数据存储模块，用于将所述数据指纹字典预先存储于所述分布式存储系统的内存中。

11.一种分布式存储系统，其特征在于，包括如权利要求6至10任一项所述的重复数据确定系统。