[发明专利]基于指纹的分布式的数据去重方法及系统

摘要

本发明提供了一种基于指纹的分布式的数据去重方法及系统，该方法包括：发起文件执行管理请求；将接收的文件切片成至少一个数据块；利用一致性哈希存储算法计算每一个数据块的指纹及整个文件的指纹，将每一个数据块和整个文件分别路由到对应的目标存储服务器；构建每一个数据块及整个文件的描述信息，通过所述目标存储服务器执行文件管理。通过本发明实施例的技术方案，企业执行文件管理过程中，可以实现高效数据去重，与此同时，通过本机制还可以把数据分布存储在不同的存服务器，实现负载均衡。