[发明专利]一种基于块级数据去重的Delta压缩存储组件

摘要

本发明公开了一种基于块级数据去重的Delta压缩存储组件，所述Delta压缩存储组件包括容器存取模块；所述容器存取模块使用相似索引、相似缓冲区和容器缓冲区数据结构来运行容器存储算法和容器恢复算法；所述容器存储算法接收上层的块级数据去重存储系统发送过来的写容器命令，对容器进行Delta压缩，并将Delta压缩后的容器写入磁盘上的容器存储池中；所述容器恢复算法接收上层的块级数据去重存储系统发送过来的读容器命令，通过容器索引从磁盘上的容器存储池中读取指定的容器，将读取的容器恢复后返回给上层的块级数据去重存储系统。本发明能够对相似数据块进行Delta压缩，消除字节级重复数据，进一步提高重复数据删除比率和存储空间利用率。

主权项

1.一种基于块级数据去重的Delta压缩存储组件，其特征在于：所述Delta压缩存储组件包括容器存取模块；所述容器存取模块使用相似索引、相似缓冲区和容器缓冲区数据结构来运行容器存储算法和容器恢复算法；所述容器存储算法用于接收上层的块级数据去重存储系统发送过来的写容器命令，对容器进行Delta压缩，并将Delta压缩后的容器写入磁盘设备上的容器存储池中；所述容器恢复算法用于接收上层的块级数据去重存储系统发送过来的读容器命令，通过容器索引从磁盘上的容器存储池中读取指定的容器，将读取的容器恢复后返回给上层的块级数据去重存储系统；所述Delta压缩存储组件还接收上层的块级数据去重存储系统发送的读容器元数据命令，从磁盘设备上的容器存储池中读取指定容器的元数据，将指定的元数据发送给上层的块级数据去重存储系统；所述相似缓冲区为内存哈希表；所述内存哈希表包含一个桶组；所述桶组里的每个桶对应一个编号，并使用哈希函数建立相似签名和桶编号之间的映射，映射到桶里的相似签名存放在相似签名结点中；每个相似签名结点存放一个唯一的相似签名并关联着一个索引结点链表，索引结点链表里存放索引结点，其中每个索引结点都存放一个具有该相似签名的数据块或Delta块的信息；所述Delta块的相似签名是指该Delta块对应的数据块的相似签名；所述相似签名结点由相似签名字段、溢出链表指针字段和索引结点链表指针字段组成；所述相似签名字段用于存放一个唯一的相似签名；所述溢出链表指针字段用于处理哈希冲突时存放映射到同一个桶里的另一个相似签名结点的地址；所述索引结点链表指针字段用于存放该相似签名结点关联的索引结点链表的首地址；所述索引结点由类型字段、容器标识符字段、偏移字段和链表指针字段组成；所述类型字段用于存放数据块标志或Delta标志；所述容器标识符字段和偏移字段给出了数据块或Delta块的地址信息；所述链表指针字段用于存放该索引结点链表里下一个索引结点的地址。