[发明专利]一种基于两级数据去重的备份集群

摘要

本发明公开了一种基于两级数据去重的备份集群，该备份集群包含多个存储节点，这些存储节点通过存储网络互连、相互协作完成数据的备份与恢复。两级数据去重的第一级采用分块压缩技术，不但消除整个备份集群内节点内和节点间的重复数据块，而且把内容相似的新数据块聚类到相同的存储节点。第二级由各存储节点单独完成，采用基于块级数据去重的Delta压缩技术对本存储节点内的相似数据块进行Delta压缩，消除字节级重复数据。本发明采用了有效的指纹查询算法和数据缓冲技术，数据备份和恢复性能好，同时支持在线数据迁移，备份集群可扩展性强。

主权项

1.一种基于两级数据去重的备份集群，其特征在于：包括多个通过存储网络互连的存储节点，每一个存储节点都可以接收客户机发送过来的数据并将数据备份到集群中，或从集群中恢复指定的数据；所述存储节点上安装有基于两级数据去重的软件系统和磁盘设备；所述基于两级数据去重的软件系统分为负责第一级数据去重的上层即块级数据去重存储系统、负责第二级数据去重的底层即Delta压缩存储组件；所述磁盘设备上安装有数据块子索引、容器索引和容器存储池；所述数据块子索引由块级数据去重存储系统管理和使用；所述容器索引和容器存储池由Delta压缩存储组件管理和使用；所述块级数据去重存储系统包括数据读写模块、指纹查询模块和容器读写模块三个模块，还设置有布隆过滤器、指纹路由表、容器路由表、输入缓冲区、文件缓冲区、指纹缓冲区和数据恢复缓冲区；所述数据读写模块包括数据备份方法和数据恢复方法；所述指纹查询模块包括指纹查询命令、指纹定位命令、数据块子索引更新命令和分布式指纹查询命令；所述容器读写模块包括写容器命令、读容器命令、读容器指纹命令和数据迁移命令；所述Delta压缩存储组件设置有容器存取模块，所述容器存取模块使用相似索引、相似缓冲区和容器缓冲区数据结构来运行容器存储算法和容器恢复算法，Delta压缩存储组件接收并执行上层的块级数据去重存储系统发送过来的写容器命令、读容器命令或读容器指纹命令：对写容器命令，Delta压缩存储组件对容器进行Delta压缩，并将Delta压缩后的容器写入磁盘上的容器存储池中；对读容器命令，Delta压缩存储组件通过容器索引从磁盘上的容器存储池中读取指定的容器，将读取的容器恢复后返回给上层的块级数据去重存储系统；对读容器指纹命令，Delta压缩存储组件从磁盘上的容器存储池中读取指定容器包含的指纹，将这些指纹发送给上层的块级数据去重存储系统；两级数据去重的第一级由执行数据备份的存储节点发动，采用分块压缩技术，把内容相似的新数据块聚类到相同的存储节点，使整个集群中没有重复数据块；所述新数据块是指和集群中已有的所有数据块都不相同的数据块；两级数据去重的第二级由各存储节点单独完成，采用Delta压缩技术，对本存储节点内的相似数据块进行Delta压缩，消除字节级重复数据。