[发明专利]一种重复数据删除方法及系统

权利要求书

1.一种重复数据删除方法，其特征在于，包括以下步骤：

步骤a：客户端按照设置的对象大小，将文件分为固定长度的数据块；

步骤b：使用安全散列算法计算出所述数据块的Hash值；

步骤c：根据所述Hash值判断所述数据块是否重复，并根据判断结果将所述数据块封装成不同类型的对象，根据所述对象的名称进行散列计算，得到所述对象应存储的集群节点和磁盘位置；

其中，所述数据块封装成的对象包括：Ceph对象、Hash对象、重删对象，所述Ceph对象是对象名称oid由文件的ino和对象编号ono组成，所述Ceph对象的案子对象内容为文件分块后的数据data，扩展属性为：flag、hash value，flag为ori时标志当前对象为Ceph对象，flag为dedup时标志当前对象为重删对象，hash value用来存储该对象内容data的Hash值；所述Hash对象为每一个Ceph对象生成一个Hash对象，用于记录Ceph对象内容的Hash值；所述重删对象为：如果判断当前对象的Hash值已经存在，当前对象存储的数据为重复数据，将当前Ceph对象的内容替换为与该对象内容重复的原对象的oid；

步骤d：客户端按照所述散列计算结果，直接与所述对象存储的集群节点进行通讯，将所述对象存储到对应的磁盘位置。

2.根据权利要求1所述的重复数据删除方法，其特征在于，在所述步骤a中，所述客户端根据文件的大小和设置的分块大小，按照固定长度将文件切分成数据块，将数据块封装成对象。

3.根据权利要求1所述的重复数据删除方法，其特征在于，在所述步骤b中，所述客户端使用SHA-1算法计算每一个数据对象内容的Hash值，然后新建一个Hash对象。

4.根据权利要求1所述的重复数据删除方法，其特征在于，所述步骤c还包括：在对象和对象存储集群间增加对象映射层。

5.根据权利要求1所述的重复数据删除方法，其特征在于，所述步骤c还包括：客户端根据Hash对象的名称和集群状态进行散列计算，得到当前Hash对象应存储的磁盘编号，并查询是否有同名的对象存在，如果不存在同名对象，为Ceph对象对应的Hash对象添加附加扩展属性reference count初始值为1，记录Ceph对象的重复数据，然后为当前Ceph对象添加附加属性flag和和hash value；如果存在同名对象，为集群中的Hash对象添加写锁，将reference count的值加1，然后释放写锁，最后将当前对象做重复数据删除处理，将当前对象替换为占用存储空间更小的重删对象。

6.一种重复数据删除系统，其特征在于，包括：

客户端：用于按照设置的对象大小，将文件分为固定长度的数据块，并使用安全散列算法计算出所述数据块的Hash值，根据Hash值判断当前数据块是否重复，并根据判断结果将所述数据块封装成不同类型的对象，根据所述对象的名称进行散列计算，得到对象应存储的集群节点和磁盘位置，直接与所述对象存储的集群节点进行通讯，将对象存储到对应的磁盘位置；

其中，所述数据块封装成的对象包括：Ceph对象、Hash对象、重删对象，所述Ceph对象是对象名称oid由文件的ino和对象编号ono组成；所述Hash对象为每一个Ceph对象生成一个Hash对象，用于记录Ceph对象内容的Hash值；所述重删对象为：如果判断当前对象的Hash值已经存在，当前对象存储的数据为重复数据，将当前Ceph对象的内容替换为与该对象内容重复的原对象的oid；

元数据集群：用于提供文件元数据管理；

监视器集群：用于负责集群内的节点生命周期管理、数据分布策略计算并维护集群的成员和状态；

对象存储集群：用于提供对象存储和管理，并配合客户端完成重复数据删除工作。

7.根据权利要求6所述的重复数据删除系统，其特征在于，所述客户端根据文件的大小和设置的分块大小，按照固定长度将文件切分成数据块，将数据块封装成对象。

8.根据权利要求7所述的重复数据删除系统，其特征在于，所述客户端查询是否有同名的对象存在，如果不存在同名对象，为Ceph对象对应的Hash对象添加附加扩展属性reference count初始值为1，记录Ceph对象的重复数据，然后为当前Ceph对象添加附加属性flag和和hash value；如果存在同名对象，为集群中的Hash对象添加写锁，将referencecount的值加1，然后释放写锁，最后将当前对象做重复数据删除处理，将当前对象替换为占用存储空间更小的重删对象。