[发明专利]一种存储系统的节点扩容方法和装置

说明书

本申请提出了一种存储系统的节点扩容方法和装置，对存储系统中各原有元数据节点的多层数据结构进行改进，以使每一层部署的每个SST文件包含同一个元数据分片文件的元数据以及针对该元数据分片文件的分片索引字段，这样，在存储系统新增元数据节点后，原有元数据节点元数据分裂请求，可以各SST文件包含的分片索引字段，确定原有元数据节点最高层以下至少一层中的待分裂SST文件，之后，直接将待分裂SST文件在原有元数据节点中形成的子数据结构对应的版本信息，迁移至新增的元数据节点的版本信息中，无需迁移大量元数据，提高了元数据分裂效率，节省了网络资源和硬件资源，且不会造成新增元数据节点的IO业务中断，也不会影响原有元数据节点的性能。

技术领域

本申请主要涉及存储领域，更具体地说是涉及一种存储系统的节点扩容方法和装置。

背景技术

随着互联网、物联网等应用产生数据不断增加，对于分布式存储系统的容量需求日益增加，在该存储系统的剩余容量不足时，需要对该存储系统的存储节点和元数据节点进行不断扩容，以提升存储系统性能。

其中，在元数据节点扩容时，通常是在存储系统中新增元数据节点，将原有元数据节点的部分元数据分裂读取出来，迁移写入新增元数据节点中，实现存储系统中各元数据节点的负载均衡。但这种元数据分裂迁移方法，需要消耗大量时间和硬件资源，新增元数据节点也会因没有完整的数据导致无法响应读取业务。

发明内容

为了解决上述技术问题，一方面，本申请提出了一种存储系统的节点扩容方法，所述方法包括：

确定存储系统响应元数据节点扩容请求新增元数据节点；其中，所述存储系统中每个原有元数据节点具有多层数据结构，每一层能够部署至少一个SST文件，每个所述SST文件包含同一个元数据分片文件的元数据以及针对该元数据分片文件的分片索引字段；

响应元数据分裂请求，依据所述原有元数据节点具有的每个所述SST文件的所述分片索引字段，确定待分裂元数据分片文件所在的待分裂SST文件；

将所述待分裂SST文件在所述原有元数据节点中形成的子数据结构对应的版本信息，迁移至所述新增的元数据节点的版本信息中；所述子数据结构包含位于所述原有元数据节点最高层以下至少一层的SST文件。

可选的，所述每个所述SST文件包含同一个元数据分片文件的元数据，包括：

响应针对所述存储系统中任一元数据节点的文件整合事件，确定该元数据节点存在的待整合SST文件；

依据所述待整合SST文件包含的各元数据对应分片文件标识，将所述待整合SST文件中同一所述分片文件标识对应的待整合元数据写入新创建的SST文件，将该分片文件标识写入对应的所述新创建的SST文件的标识字段；

其中，所述分片文件标识用于识别不同的所述元数据分片文件。

可选的，所述元数据以键值对方式存储，所述依据所述待整合SST文件包含的各元数据对应分片文件标识，将所述待整合SST文件中同一所述分片文件标识对应的待整合元数据写入新创建的SST文件，包括：

将所述待整合SST文件迭代查询到的键值依次写入新的SST文件；所述键值对应有所属元数据分片文件的分片文件标识；

确定本次写入所述新的SST文件的键值是具有对应所述分片文件标识的元数据分片文件的最后一个键值，将该分片文件标识写入所述新的SST文件的标识字段；

创建新的SST文件，将迭代查询到的下一键值写入新创建的该SST文件；

确定本次写入所述新的SST文件的键值不是具有对应所述分片文件标识的元数据分片文件的最后一个键值，将迭代查询到的下一键值继续写入所述新的SST文件。