[发明专利]数据处理方法及装置

说明书

本发明公开了一种数据处理方法及装置。其中，该方法包括：采用单级目录结构，将获取的快照数据进行存储，其中，快照数据包括多个数据块和用于指示数据块的数据块指针；根据快照数据生成对应的元数据，其中，元数据包括数据块指针的索引，元数据为键值对结构；根据快照数据的更新，更新元数据。本发明解决了相关技术中的系统的快照数据需要依赖指针将数据块连接成有向无环图数据结构的方式，存在结构复杂，数据量大，容易出错的技术问题。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种数据处理方法及装置。

背景技术

当前实现快照有主要有两种技术，一种是写时复制（COW），另一种是写时重定向（ROW）。

COW：在创建快照时，会分配一个卷作为相对于源卷的快照卷。在创建快照后第一次写入数据块时，块的原始数据会从源卷复制到快照卷。复制后，再对源卷中的块进行写操作。因此，快照的数据图像被保留。源卷和快照卷的组合呈现数据的时间点映像。创建快照后，所有后续读输入/输出 I/O 都在源卷上执行。对块进行第一次更改后的写 输入/输出I/O 也在源卷上执行，即只有对块的第一次写入才会将原始数据复制到快照卷。

ROW：写入时复制在第一次写入块时需要三个输入/输出 I/O 操作：1) 从源卷中读取原始块； 2) 将原始块写入快照卷； 3) 在源卷中写入新数据。这些 输入/输出I/O 操作在生产时完成，这可能会对应用程序性能产生负面影响。为了克服这一点，可以进行写入时重定向，如图1-2所示，使源卷中的原始块保持不变，并对快照卷执行新的写入操作。这消除了写时复制方法的额外输入/输出 I/O 操作。在创建快照之后，所有后续的写 输入/输出I/O 都在快照卷上执行，而读输入/输出 I/O 可能来自源卷或快照卷，具体取决于在快照创建之后块是否已更改。快照数据的时间点映像是源卷本身，因为在创建快照之后源卷一直是只读的。

现阶段而言，ROW +分布式存储的快照方式是业界发展的主要方向。ROW 快照中的原始数据依旧保留在源数据卷中，并且为了保证快照数据的完整性，在创建快照时，源数据卷状态会由读写变成只读的。如果一个存储系统做了多次快照，就产生了一个快照链，磁盘卷始终挂载在快照链的最末端，即写操作全都会落盘到最末端的快照卷中。该特征导致了一个问题，就是如果一共做了 10 次快照，那么在恢复到最新的快照点时，则需要通过合并10 个快照卷来得到一个完整的最新快照点数据；如果是恢复到第 8 次快找时间点，那么就需要将前 8 次的快照卷合并成为一个完整的快照点数据。因此，ROW在传统存储场景下最大的问题是对读性能影响比较大。

在每一个存储设备被格式化创建文件系统后，所有的文件大致被分为了两部分，分别是索引节点inode和数据块block。其中索引节点inode用来存储文件属性信息，其中包括了文件大小，文件的归属者，文件的归属组，权限，类型，修改时间以及指向文件实体数据（block）的指针，即元数据；Super-block会记录整个档案系统的整体信息。数据块block中存储的就是文件的实际数据，比如说，照片，视频，音频等等。

传统ROW快照是 “用指针把数据块block链接成有向无环图数据结构”的方式来表达快照信息的。修改数据时不覆盖原来的数据块block，先将更新数据写入一个新的数据块block，然后创建一个新的索引节点inode指向更新的数据，在上层继续创建新的索引节点inode指向下层更新过的索引节点inode，直到根节点。此时，通过当前的Super-block可以读到当前数据，通过老的Super-block可以读到快照数据。这种方法有几个缺点：（1）数据结构复杂，实现难度大，易于出错；（2）新写入数据所需更新的元数据量大，写入的物理数据量是写入数据量的多倍，不适合固态硬盘SSD。新写入一个数据块，需要从“快照根节点”到“新数据块”的所有中间节点；（3）“有向无环图”难以使用KV数据来存储。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容