[发明专利]基于指纹的分布式的数据去重方法及系统

权利要求书

1.一种基于指纹的分布式的数据去重方法，其特征在于，包括：

发起文件执行管理请求；

将接收的文件切片成至少一个数据块；

利用一致性哈希存储算法计算每一个数据块的指纹及整个文件的指纹，将每一个数据块和整个文件分别路由到对应的目标存储服务器；

构建每一个数据块及整个文件的描述信息，通过所述目标存储服务器执行文件管理。

2.根据权利要求1所述的基于指纹的分布式的数据去重方法，其特征在于，利用一致性哈希存储算法计算每一个数据块的指纹以及整个文件的指纹的方法，包括：

分别对每一个数据块做哈希运算，得到每一数据块的指纹；

根据所述每一数据块的指纹计算出所述文件的指纹。

3.根据权利要求2所述的基于指纹的分布式的数据去重方法，其特征在于，将每一个数据块的指纹以及整个文件的指纹路由到对应的目标存储服务器的方法，包括：

将每一个数据块的指纹以及整个文件的指纹作为目标值key；

每一台存储服务器结点维护一个一致性哈希路由表，根据确定的目标值key通过存储服务器结点维护的一致性哈希路由表进行路由运算，找出目标值key的直接后继及与其对应的目标存储服务器信息；

根据所述目标存储服务器信息确定目标存储服务器；

其中，目标值key的直接后继为距离目标值key最近且小于目标值key的存储服务器结点。

4.根据权利要求3所述的基于指纹的分布式的数据去重方法，其特征在于，得到一致性哈希路由表的方法，包括：

分别对每一台存储服务器做哈希运算，得到每一台服务器的指纹信息；

将每一台服务器的指纹信息作为存储值key；

建立并保存每一台存储服务器结点、存储值key的后继及存储服务器信息的对应关系，得到预设在存储服务器中的一致性哈希路由表。

5.根据权利要求1所述的基于指纹的分布式的数据去重方法，其特征在于，将所述文件切片成至少一个数据块的方法，包括：

接收以数据流传输的所述文件；

根据所述数据流的大小将其分割成固定大小的至少一个数据块。

6.根据权利要求2所述的基于指纹的分布式的数据去重方法，其特征在于，通过所述目标存储服务器执行文件管理的方法，包括：

根据所述数据块的指纹及其目标存储服务器信息构建所述数据块的描述信息，根据所述文件的指纹及其目标存储服务器信息构建所述文件的描述信息；

将所述数据块及所述文件的描述信息传送至目标存储服务器；

比对所述目标存储服务器内原始数据与所述数据块及所述文件的描述信息，根据比对结果对所述数据块及所述文件执行文件管理。

7.一种基于指纹的分布式数据去重系统，其特征在于，所述系统包括：

客户端，对文件发起文件执行管理请求；

云端数据处理服务器，将接收的文件切片成至少一个数据块，对每一数据块进行一致性哈希存储算法，计算出每一数据块的指纹和整个文件的指纹，并将其路由到对应的目标存储服务器；

目标存储服务器，根据所述云端数据处理服务器构建的每一个数据块及整个文件的描述信息，对所述数据块及所述整个文件执行文件管理。

8.根据权利要求7所述的基于指纹的分布式数据去重系统，其特征在于，所述云端数据处理服务器包括：

切割模块，用于接收并分析文件的数据流，根据数据流大小将其切片成至少一个数据块；

指纹计算模块，根据存储的一致性哈希存储算法对每一数据块进行运算，计算出每一数据块的指纹，根据所述每一数据块的指纹计算所述文件的指纹；

路由模块，根据所述指纹计算模块传输的每一数据块的指纹和文件的指纹通过每一台存储服务器维护的一致性哈希路由表进行路由运算，找出目标值key的直接后继及与其对应的目标存储服务器信息，根据目标存储服务器信息确定每一数据块和文件的目标存储服务器；

信息构建模块，根据所述每一数据块的指纹和目标存储服务器信息构建每一数据块和文件的描述信息，并将其发送至对应的目标存储服务器。