[发明专利]一种ceph集群数据均衡方法以及系统

说明书

本申请公开了一种ceph集群数据均衡方法以及系统，属于网络通信技术领域，数据均衡方法通过主归置组将要均衡的数据块进行平均划分，生成多个均衡清单，然后主归置组保留一个均衡清单，将其他的均衡清单分别发送到从归置组，最后主归置组以及从归置组根据均衡清单上的数据块名称将自身存储的数据块对应发送到新增加的数据存储装置中实现均衡，单位时间内多个归置组同时相互配合执行均衡操作，大大提高了数据均衡的效率。

技术领域

本发明属于网络通信技术领域，尤其涉及一种ceph集群数据均衡方法以及系统。

背景技术

在ceph分布式存储系统概念里，一块硬盘对应为一个Object-Based StorageDevice（简称OSD），OSD将硬盘存储空间划分为一个个小数据块，这样的小数据块称为object。一个OSD含有成千上万的object，为了便于管理这些object，ceph采用了归置组（placement group，简称PG），通过稳定的算法把object划分到某个PG下。ceph默认采用三副本保证数据可靠性，也就是一个object在同时存在三个OSD中，这三个OSD划分为一个主OSD和两个从OSD，主OSD对应主PG，从OSD对应从PG。当ceph集群添加了新硬盘后，原有OSD的数据需要均衡到新OSD中。由于ceph数据均衡的最小单位是PG，也就是添加新硬盘后，原有OSD的一部分PG需要均衡到新OSD中。目前ceph仅由主PG发起数据均衡，均衡速度慢，均衡效率低，数据均衡是一个耗时过程，均衡过程中无法接收用户端的读写请求，导致用户端的请求等待时间较长，用户体验感受差。

发明内容

（一）发明目的

为了克服以上不足，本发明的目的在于提供一种ceph集群数据均衡方法以及系统，以解决现有的ceph集群数据均衡耗时较长，均衡期间若客户端发送写入请求，需要等待较长时间才能够得到请求回复，用户体验效果差的技术问题。

（二）技术方案

为实现上述目的，本申请一方面提供的技术方案如下：

一种ceph集群数据均衡方法，应用于ceph分布式存储系统，均衡方法包括以下步骤：

主归置组统计待均衡的所有数据块总数，完成统计后将所有统计的数据块平均划分为预定等份，基于每一预定等份分别生成一个均衡清单，根据对应预定等份中的数据块名称确定各均衡清单的内容；

其中，预定等份为主归置组与多个从归置组的数量总和；

主归置组保留一份均衡清单并且将其余的均衡清单分别分发到不同的从归置组；

主归置组与从归置组根据自身均衡清单上的数据块名称，将存储在自身的对应的数据块均衡到新增加的数据存储装置中。

本申请通过主归置组将要均衡的数据块进行平均划分，生成多个均衡清单，然后主归置组保留一个均衡清单，将其他的均衡清单分别发送到从归置组，最后主归置组以及从归置组根据均衡清单上的数据块名称将自身存储的数据块对应发送到新增加的数据存储装置中实现均衡，单位时间内多个归置组同时相互配合执行均衡操作，大大提高了数据均衡的效率。

进一步地，在统计待均衡的所有数据块总数之后并且在将所有统计的数据块平均划分为预定等份之前，还包括：将正在被客户端请求读写的数据块标记为紧急数据块，将其余没有被客户端请求读写的数据块标记为普通数据块。

基于每一预定等份分别生成一个均衡清单还包括：判断每个均衡清单上是否包含紧急数据块的名称，若包含，将每个均衡清单内紧急数据块名称置于普通数据块名称之前。