[发明专利]基于daos分布式存储系统中数据增量重构系统和方法

说明书

本发明涉及数据重构技术领域，提供基于daos分布式存储系统中数据增量重构系统和方法，本发明的系统由恢复端和权威端组成，其中，恢复端包括：扫描模块，对象遍历模块，对象粒度识别模块，dkey遍历模块，dkey粒度识别模块，rsv比较模块，akey遍历模块，akey粒度识别模块，恢复端数据库，rsv更新模块。根据本发明示例性实施例的基于daos分布式存储系统中数据增量重构系统和方法，通过分级数据恢复机制来提升重构效率，以最短的时间识别出数据需要进行重构的粒度，仅恢复故障期间缺失部分的数据，有效减少重构过程的数据迁移，提升重构流程的效率，降低重构对系统资源的消耗，提高集群的可靠性，以最小的数据恢复代价实现分布式存储系统数据的一致性。

技术领域

本发明涉及数据重构技术领域，尤其涉及基于daos分布式存储系统中数据增量重构系统和方法。

背景技术

在分布式存储系统中，为了提升系统数据的安全性以及保证系统故障的可用性，一般采用数据多冗余的方式。而为了保证数据的多冗余，在集群故障恢复后，就会触发恢复数据的重构流程，以保证各副本之间数据的一致性。在实际应用中，基于开源daos的分布式存储系统的数据重构方式，都是基于对象粒度进行全量重构，重构过程会将缺失的对象恢复到故障节点。

如图1所示，对象(object)元数据按照多版本树的形式存储，一个object可以映射多个dkey,一个dkey可以映射多个akey，akey下的records可以映射数据的多个版本，重构过程中本地恢复端需要去权威端拉取数据以保证节点之间的数据一致性。数据重构的粒度如果只以object为最小单位，则在重构数据迁移中需要将object下多版本的所有数据都拉取到本地恢复端，即使本地对象在故障前已经存在了大量的有效数据，但因为可能存在部分对象在故障期间被修改过，在重构过程中也只能将所有的本地对象先清除掉(即使该对象可能在故障期间并未被修改)，这样数据将会完整的从权威端拉取，以保证分布式存储系统节点间的数据一致性。但在上述数据重构完成后保证数据一致性的基本原则下，重构过程本身的效率是极其低下的，每个object的多版本数据都需要从权威端拉取到本地，即使本地object在故障期间只修改了很小一部分的数据甚至根本未曾被修改。这种方式在功能上可以保证数据的一致性恢复并且实现较简单，但在效率上却存在严重缺陷：重构的粒度太大，不够精细化，造成了大量无效数据的迁移，而这些无效数据的迁移不仅会影响重构本身的效率，还会消耗系统的磁盘/网络等资源。

因此，如何提供一种高效率的数据重构方法，成为亟待解决的技术问题。

发明内容

有鉴于此，为了克服现有技术的不足，本发明通过分级数据恢复实现精细化的数据增量重构，提升数据重构的效率以及减少重构对系统资源的消耗。

一方面，本发明提供基于daos分布式存储系统中数据增量重构系统，本发明的系统系统由恢复端和权威端组成，其中，权威端用于供恢复端拉取数据进行恢复，恢复端包括：

扫描模块，用于从权威端获取待恢复对象；

对象遍历模块，用于遍历待恢复对象；

对象粒度识别模块，对待恢复对象进行对象粒度识别，将恢复端不存在的对象拉取至恢复端数据库，将恢复端存在的对象发送至dkey遍历模块；

dkey遍历模块，用于遍历恢复端存在的待恢复对象的所有dkey；

dkey粒度识别模块，对待恢复对象进行dkey粒度识别，将恢复端不存在的dkey拉取至恢复端数据库，将恢复端存在的dkey发送至rsv比较模块；

rsv比较模块，用于判断恢复端存在的dkey是否需要重构恢复，将需要恢复的dkey发送至akey遍历模块；

akey遍历模块，用于遍历需要恢复的dkey的所有akey；

akey粒度识别模块，对待恢复dkey进行akey粒度识别，将恢复端不存在的akey拉取至恢复端数据库，以恢复端存在的akey的records为最小粒度进行数据的增量重构；