[发明专利]一种数据存储与恢复架构与方法

摘要

本发明公开了一种数据存储与恢复架构，其特征在于，包括通过网络相互连接的块设备与云端设备；所述的云端设备分为接入存储层，归档存储层和元数据服务层；所述的接入存储层执行块设备的写入操作，采用固态硬盘，所述的归档存储层定期从接入存储层拉取和存储新增实时数据，采用低速硬盘；所述的元数据服务层用于存储索引信息。本发明同时公开了一种数据存储与恢复方法，其特征在于：具体包括以下步骤；501．用户通过交互方式选择块设备需要恢复数据的时间点；502．归档存储层根据时间点和块设备的标识从元数据服务层的一级索引查询到该块设备恢复到该时间点所需的所有的时间粒度。本发明的归档存储层及分片方式可以很有效的应对高吞吐IO所带来海量存储量问题。

主权项

1.一种数据存储与恢复架构，包括通过网络相互连接的块设备与云端设备；所述的云端设备分为接入存储层，归档存储层和元数据服务层，其特征在于，所述的接入存储层执行块设备的写入操作，采用固态硬盘；所述的归档存储层定期从接入存储层拉取和存储新增实时数据，采用低速硬盘，包括以下步骤：301.归档存储层判断拉取的实时数据的时间间隔是否满足预设的时间粒度，若是，则执行步骤302；若否，则继续拉取实时数据；302.归档存储层按照预设的数据块大小对实时数据进行分割，分割成多份独立数据块，并按写的顺序编号排序；预设的数据块大小为块设备的写入操作最小单位的倍数；303.归档存储层对所述独立数据块进行编码，生成独立数据块的编码，编码分为两部分，第一部分为位图编码，位图编码的位数为所述写入操作最小单位倍数；第二部分为独立数据块的实际数据；实际数据由多个大小为写入操作最小单位的数据组成；若位图编码中的某位的值为1，则实际数据包含该位对应的实际写入操作数据；若为位图编码中的某位的值为0，则该位无对应的实际写入操作数据；304.归档存储层按预设的时间粒度和写的顺序编号对独立数据块的编码进行合并；若顺序编号大的独立数据块编码中位图编码的某位的值为1，合并完成的独立数据块的编码中的位图编码该位的值为1，并且该位所对应的实际数据为顺序编号大的独立数据块的编码的实际数据；若顺序编号大的独立数据块的编码中位图编码的某位的值为0，则只有顺序编号小的独立数据块的位图编码中的该位得值为1时，合并完成的独立数据块的编码的位图编码该位的值为1，并且该位所对应的实际数据为顺序编号小的独立数据块的编码的实际数据；305.归档存储层按块设备的寻址范围对合并完成的数据块的编码进行分片，每个分片的寻址范围为预设的数据块大小的倍数，同一个分片包含多个独立数据块的编码，分片分布于不同的云端存储设备中；306.归档存储层对块设备的写入数据生成两级索引，第一级索引包括块设备标识，及该块设备的数据块的编码的所有的时间粒度，其中块设备标识为键值；第二级索引包括块设备标识，一个时间粒度和该时间粒度对应的所有分片的存储位置，其中块设备标识与时间粒度为键值；所述的元数据服务层用于存储索引信息。