[发明专利]一种应用感知的大数据重复删除存储系统及方法

摘要

本发明公开了一种应用感知的大数据重复删除存储系统及方法。该系统包括基于计算机网络互联的客户端、管理服务器和重删节点，客户端与管理服务器之间通过应用感知路由方法为应用文件存储确定重删节点列表，客户端与重删节点之间通过相似感知路由方法从重删节点列表中确定目标重删节点，用于存储应用文件中的超块。通过该系统对应用文件进行存储管理，能够使得具有相同类型的应用文件存放到相同的重删节点上，不仅有效减轻网络通信的负荷量，还有利于提高重删率，以及在每个重删节点上的存储吞吐率，增强网络的可扩展性。

主权项

一种应用感知的大数据重复删除存储系统，包括基于计算机网络互联的客户端、管理服务器和重删节点，其特征在于：所述客户端包括数据划分模块、指纹计算模块和相似感知数据路由模块，所述数据划分模块用于对应用文件按照固定长度或可变长度划分为数据块，再进一步将所述数据块组合成超块；所述指纹计算模块利用抗冲突加密哈希函数计算所述超块中的每一个数据块的指纹，得到所述超块对应的各数据块的指纹列表；所述相似感知数据路由模块利用相似感知路由方法为所述超块确定一个用于存储所述超块的目标重删节点；所述管理服务器包括文件会话管理模块和应用感知路由决策模块，所述文件会话管理模块用于存储所述应用文件与所述应用文件划分的数据块的指纹之间的映射关系，以及需要重构所述应用文件的元数据信息；所述应用感知路由决策模块与所述相似感知数据路由模块之间通过应用感知路由方法，为所述应用文件确定一组用于存储所述应用文件的超块的重删节点列表，并反馈给所述客户端；所述重删节点包括应用感知相似索引查询模块、块指纹缓存模块以及并行容器管理模块，所述应用感知相似索引查询模块用于向所述客户端反馈应用感知相似性索引查询结果，所述块指纹缓存模块用于缓存最近频繁访问的数据块的指纹，以加速对数据块的查询处理，所述并行容器管理模块用于以并行处理的方式存储唯一数据块。