[发明专利]一种单机存储引擎

说明书

本申请公开了一种单机存储引擎，配置于存储服务器，内置有本地键值索引引擎，使所存储用户数据文件的命名空间具备扁平及无层级目录结构特点、内置有基于区域树实现的空间管理功能，实现存储空间分配与释放的管理，避免写放大问题，以及内置有事务日志记录功能，能够周期性以快照方式落盘，以保证数据完整性，避免读取到未提交写操作；同时保证整个文件系统都采用写时拷贝方式落盘的策略，周期性以快照方式落盘，以保证数据完整性，避免读取到未提交写操作。

技术领域

本申请涉及数据存储技术领域，尤其涉及一种单机存储引擎。

背景技术

随着信息时代的快速发展和数据时代的到来，数据量呈指数级增长，数据存储技术对众多应用服务的影响日益加深。分布式存储系统因其具备高可靠性和高扩展性，并且支持文件共享存储和完善的并发访问控制功能，在对数据的存储管理中发挥着至关重要的作用。一般的，存储服务器为分布式存储系统中的核心所在，因此，存储服务器设计和实现关系到分布式存储的复杂度和性能。

对于存储服务器，现有实现中有一部分考虑使用类似Cluster或者HDFS的本地文件系统来实现存储逻辑，但本地文件系统由于有复杂的目录结构树，并且在数据落盘的时候有额外的索引逻辑的开销和本地文件系统本身日志的额外开销，性能较为低下。另外，也有一部分考虑使用裸盘存储数据(如Ceph Bluestor)，但是该种设计下对象(或者数据块)的大小为固定大小，用户数据文件越大，就需要分片成为更多的对象(增加了索引维护规模)，用户的对象小于固定分片大小的时候，就产生较多空间浪费。

发明内容

有鉴于此，本申请实施例提供了一种单机存储引擎，配置在存储服务器上，实现了文件的扁平化和无层级目录结构的存储，有效降低了空间浪费。

本申请实施例提供了一种单机存储引擎，该单机存储引擎配置于存储服务器，包括：

内置有本地键值索引引擎，使所存储用户数据文件的命名空间具备扁平及无层级目录结构特点，提供基于文件唯一标识进行文件数据入口管理的功能；

内置有基于区域树实现的空间管理功能，以实现存储空间分配与释放的管理；

整个文件系统都采用写时拷贝方式落盘的策略，周期性以快照方式落盘，以保证数据完整性，避免读取到未提交写操作；

内置有事务日志记录功能，用于在存储服务器断电重启后，在上一个快照落盘的基础上重放事务日志，恢复到所述存储服务器断电前的提交状态，保证所存储文件的写事务一致性。

上述提供的一种单机存储引擎，能够通过内置的本地键值索引引擎，保证所存储用户数据文件的命名空间呈现扁平化和无层级目录结构的特点，有效数据文件元数据对象的存储空间占用；同时还实现了基于区域树的空间分配和释放管理，同样保证了存储空间的有效管理；此外，所采用的写时拷贝落盘策略实现了系统运行中的数据完整性；所具备的事务日志记录功能保证了所存储文件的写事务一致性，保证了数据信息在断电后的正常恢复。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本发明实施例提供的一种单机存储引擎的功能架构图；

图2给出了本实施例所提供单机存储引擎中本地键值索引引擎的树拓扑结构示例图；

图3给出了本实施例所提供单机存储引擎中以写时拷贝方式落盘的逻辑实现流程图；

图4给出了本实施例所提供单机存储引擎中事务组轮转机制的逻辑实现流程图；

图5给出了本实施例所提供单机存储引擎中事务日志记录功能所对应拓扑结构的示例图；

图6为本实施例所提供单机存储引擎中相对业务应用的一次周期性落盘的线程实现示例图。

具体实施方式