[发明专利]基于指纹的分布式的数据去重方法及系统

说明书

本发明提供了一种基于指纹的分布式的数据去重方法及系统，该方法包括：发起文件执行管理请求；将接收的文件切片成至少一个数据块；利用一致性哈希存储算法计算每一个数据块的指纹及整个文件的指纹，将每一个数据块和整个文件分别路由到对应的目标存储服务器；构建每一个数据块及整个文件的描述信息，通过所述目标存储服务器执行文件管理。通过本发明实施例的技术方案，企业执行文件管理过程中，可以实现高效数据去重，与此同时，通过本机制还可以把数据分布存储在不同的存服务器，实现负载均衡。

技术领域

本发明涉及信息交互录入处理技术应用领域，尤其涉及一种基于指纹的分布式的数据去重方法及系统。

背景技术

目前，企业数据中心管理着海量的数据，云存储服务商为众多企业用户提供存储服务。然而企业数据存储和管理成本较高，扩展存储资源极具挑战性，有研究表明，几乎75％的数据是冗余的，尤其是备份和归档存储系统中的数据的冗余度高于90％，因此云存贮中数据去重技术的能极大减少内存需求和硬盘成本。

对于已经存贮在系统中的数据，目前通过数据去重模型仅仅需要保存数据的链接以减少数据冗余。数据去重模型虽然可以避免单个文件内的冗余数据，并且进一步通过数据比对，识别不同文件之间的冗余数据，但传统数据去重过程需要较高的计算复杂度和I/O吞吐量，进而影响服务器性能。

发明内容

本发明提供一种基于指纹的分布式的数据去重方法及系统，可以解决以上问题以提高数据去重效率、降低备份和归档存储系统中的数据的冗余度。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

第一方面，本发明提供了一种基于指纹的分布式的数据去重方法，包括：

发起文件执行管理请求；

将接收的文件切片成至少一个数据块；

利用一致性哈希存储算法计算每一个数据块的指纹及整个文件的指纹，将每一个数据块和整个文件分别路由到对应的目标存储服务器；

构建每一个数据块及整个文件的描述信息，通过所述目标存储服务器执行文件管理。

优选地，利用一致性哈希存储算法计算每一个数据块的指纹以及整个文件的指纹的方法，包括：

分别对每一个数据块分别做哈希运算，计算得到每一数据块的指纹；

根据所述每一数据块的指纹计算出所述文件的指纹。

优选地，将每一个数据块的指纹以及整个文件的指纹路由到对应的目标存储服务器的方法，包括：

将每一个数据块的指纹以及整个文件的指纹作为目标值key；

每一台存储服务器结点维护一个一致性哈希路由表，根据确定的目标值key通过存储服务器结点维护的一致性哈希路由表进行路由运算，找出目标值key的直接后继及与其对应的目标存储服务器信息；

根据所述目标存储服务器信息确定目标存储服务器；

其中，目标值key的直接后继为距离目标值key最近且小于目标值key的存储服务器结点。

优选地，得到一致性哈希路由表的方法，包括：

分别对每一台存储服务器做哈希运算，得到每一台服务器的指纹信息；

将每一台服务器的指纹信息作为存储值key；

建立并保存每一台存储服务器结点、存储值key的后继及存储服务器信息的对应关系，得到预设在存储服务器中的一致性哈希路由表。

优选地，将所述文件切片成至少一个数据块的方法，包括：

接收以数据流传输的所述文件；