[发明专利]一种分布式存储系统中单节点上数据物理位置映射方法

说明书

本发明公开了一种分布式存储系统中单节点上数据物理位置映射方法，将待存储的数据分为预定大小的数据对象，并生成每个数据对象的数据摘要值；将数据对象和对应的数据摘要值写入到活跃区段中；其中，活跃区段为存储节点中用于写入当前数据对象的区段；当活跃区段写满数据后，将其存储至当前存储节点中，并生成数据对象的物理地址；其中，物理地址包括物理设备的设备ID、活跃区段存储时对应的区段号和数据对象在活跃区段中的偏移量；本发明通过活跃区段存储满后，再统一存储至物理设备中，将原有的小块数据随机存转化为大块数据顺序存储，降低物理磁盘的写入放大，提升物理磁盘性能。

【技术领域】

本发明属于计算机存储技术领域，尤其涉及一种分布式存储系统中单节点上数据物理位置映射方法。

【背景技术】

随着大数据时代的降临，业务应用对存储空间的需求越来越大，性能越来越高。海量的数据对存储的要求已经远远超出了传统的多控存储系统所能承受的范围。没有哪一套单机的存储能够提供如此大的数据存储能力。存储系统正在向着大规模、分布式、虚拟化方向发展。

在现有节点中，进行数据存储时均是将数据分为多个小的数据对象，然后随机存储在节点上，这样一来，由于数据的小块随机存储会给存储节点带来写入放大，进而导致物理磁盘性能降低。

【发明内容】

本发明的目的是提供一种分布式存储系统中单节点上数据物理位置映射方法，通过将数据的小块随机存储转变为大块顺序存储，降低物理磁盘的写入放大，提升物理磁盘性能。

本发明采用以下技术方案：一种分布式存储系统中单节点上数据物理位置映射方法，包括：

将待存储的数据分为预定大小的数据对象，并生成每个数据对象的数据摘要值；

将数据对象和对应的数据摘要值写入到活跃区段中；其中，活跃区段为存储节点中用于写入当前数据对象的区段；

当活跃区段写满数据后，将其存储至当前存储节点中，并生成数据对象的物理地址；其中，物理地址包括物理设备的设备ID、活跃区段存储时对应的区段号和数据对象在活跃区段中的偏移量。

进一步地，生成数据对象的物理地址后还包括：

获取数据对象对应的数据摘要值和物理地址；

将数据摘要值和物理地址存储至索引分区的对应索引桶中；

截取数据摘要值中的部分内容生成下标，存储至对应索引桶中的下标区中。

进一步地，活跃区段的生成方法为：

获取存储节点的区段信息表；

根据区段信息表将存储节点上的多个空闲区段加载至非易失存储器上；

创建区段指针，依次指向加载至非易失存储器上的多个空闲区段；

获取区段指针当前指向的空闲区段，作为活跃区段。

进一步地，存储节点的区段信息表的建立方法为：

获取存储节点中每个物理设备的设备ID和容量信息；

按照预定空间大小将每个物理设备中的容量分为多个区段；

将每个物理设备的第一个区段作为超级区段，用于存储该物理设备的基本信息；

获取每个物理设备上的非超级区段信息，生成区段信息表。

进一步地，每个非超级区段的数据结构均包括区段头和区段数据区；其中，区段头用于存储区段的描述信息，包括剩余空间的起始位置和结束为止；区段数据区用于存储数据对象和区段日志。