[发明专利]一种集群文件系统的容量控制方法及装置

说明书

本发明提供一种集群文件系统的容量控制方法及装置，该方法包括：对集群文件系统进行禁止数据自动迁移的设置；删除处于容量满状态的对象存储设备中的至少部分PG的数据，以解除对象存储设备的容量满状态；对集群文件系统进行开启数据自动迁移的设置，以恢复删除的至少部分PG的数据。由此可见，该方法可以在保证数据一致性的同时解决了数据不均衡造成的容量超限问题。

技术领域

本发明涉及计算机技术领域，特别涉及一种集群文件系统的容量控制方法及装置。

背景技术

随着对数据量需求的不断增大，分布式存储技术应运而生，并广泛应用于视频监控、广电媒咨、生物科技、交通运营等各个领域。

集群文件系统(CFS，Cluster File System)是分布式存储技术中的一种，在每个集群节点上分布有多个对象存储设备(Object Storage Device,OSD)，每个对象存储设备用于提供数据服务，并采用元数据服务器进行客户端与对象存储设备的统一管理。在应用过程中，随着系统规模的不断扩大，集群文件系统的存储容量不断增加，由于分布式存储系统存在数据均衡性的问题，无法保证每个对象存储设备中的存储容量的均衡性，而当一个或多个对象存储设备未正常启动时，该OSD上的数据会发生迁移，可能会导致其他OSD的磁盘空间容量超限，导致集群节点的异常，无法正常进行数据写入的操作，而故障的定位及问题的解决都需要较长的时间来完成，影响系统正常运行。

发明内容

有鉴于此，本发明的目的在于提供一种集群文件系统的容量控制方法及装置，可以在保证数据一致性的同时解决了数据不均衡造成的容量超限问题。

为实现上述目的，本发明有如下技术方案：

一种集群文件系统的容量控制方法，当获得所述集群文件系统发生容量超限的异常信息时，进行容量控制，所述容量超限的异常信息包括：多个对象存储设备处于容量满状态、系统无法写入数据且客户端可以正常挂载，所述容量控制的方法包括：

对集群文件系统进行禁止数据自动迁移的设置；

删除处于容量满状态的对象存储设备中的至少部分PG的数据，以解除所述对象存储设备的容量满状态；

对集群文件系统进行开启数据自动迁移的设置，以恢复删除的所述至少部分PG的数据。

可选地，确定集群文件系统发生容量超限的方法包括：

获得集群文件系统的运行情况的检测信息；

当所述检测信息由正常转变为异常时，对系统检测信息文件以及OSD日志进行分析，若多个对象存储设备处于容量满状态、系统无法写入数据且客户端可以正常挂载，则认为集群文件系统发生容量超限。

可选地，在删除处于容量满状态的对象存储设备中的至少部分数据之前，还包括：

进行系统配置文件的备份；

进行系统配置文件中防震荡相关参数的修改。

可选地，所述防震荡相关参数包括：

存放文件数量参数、线程超时参数、OSD心跳机制参数以及OSD监控参数中的一种或多种。

可选地，删除处于容量满状态的对象存储设备中的至少部分PG的数据之后，对集群文件系统进行开启数据自动迁移的设置之前，还包括：

进行所述集群文件系统的重启，并进行等待，直至无数据变动。

可选地，恢复删除的所述至少部分PG的数据之后，还包括：

进行所述集群文件系统的数据均衡。

一种集群文件系统的容量控制装置，包括：