[发明专利]一种分布式存储系统的数据写入控制方法、装置及设备

说明书

本发明公开了一种分布式存储系统的数据写入控制方法、装置、设备及计算机可读存储介质，基于磁盘存入新数据的概率与所述磁盘的权重值成正相关的机制，通过预先建立磁盘的权重值与所述磁盘的容量利用率成负相关的对应关系，获取分布式存储系统中各磁盘的容量利用率，根据磁盘的容量利用率调节磁盘的权重值，实现对磁盘权重值的动态调节，使得磁盘容量利用率较高时降低被存入新数据的几率，在磁盘容量利用率较低时提高被存入新数据的几率，从而在整个分布式存储系统中实现各磁盘的存储均衡，避免出现因部分磁盘容量占满而导致数据存储中断、数据丢失的问题。

技术领域

本发明涉及分布式存储技术领域，特别是涉及一种分布式存储系统的数据写入控制方法、装置、设备及计算机可读存储介质。

背景技术

随着云计算和大数据技术在现代社会发展中的飞速发展，生产生活中所积累的生产资料数据也呈指数级增长，海量存储技术在互联网发展中越发成为不可或缺的一部分。而在分布式存储系统中，由于海量的数据请求会按照一定的crush规则存储到磁盘，集群中部分磁盘会优先到达容量水位，可能会出现nearfull(近满)状态，导致数据存储中断，由此造成数据丢失等问题。

因此，如何进行分布式存储系统的均衡存储，是本领域技术人员需要解决的技术问题。

发明内容

本发明的目的是提供一种分布式存储系统的数据写入控制方法、装置、设备及计算机可读存储介质，用于实现分布式存储系统的均衡存储。

为解决上述技术问题，本发明提供一种分布式存储系统的数据写入控制方法，包括：

获取分布式存储系统中各磁盘的容量利用率；

根据所述磁盘的容量利用率调节所述磁盘的权重值；

当需存入新数据时，根据各所述磁盘的权重值确定各所述磁盘的存储优先级，而后根据各所述磁盘的存储优先级确定所述新数据的存储位置；

其中，所述磁盘的权重值与所述磁盘的容量利用率成负相关；所述磁盘的存储优先级与所述磁盘的权重值成正相关。

可选的，还包括：

当所述磁盘的容量利用率达到第二阈值时，对所述磁盘进行数据隔离以禁止新数据存入所述磁盘。

可选的，当所述磁盘的容量利用率达到第二阈值时，还包括：

检查所述磁盘的健康状态参数；

当根据所述磁盘的健康状态参数确定所述磁盘处于健康运行状态时，调用数据重构脚本以将所述磁盘的数据重构至其他磁盘。

可选的，所述调用数据重构脚本以将所述磁盘的数据重构至其他磁盘，具体包括：

确定容量利用率小于第三阈值的磁盘为目标磁盘；

按数据连续性将所述磁盘的数据重构为多组数据后，将各组数据均匀存入所述磁盘和各所述目标磁盘。

可选的，还包括：

根据所述磁盘的容量利用率更新所述磁盘的历史容量利用率曲线；

依据所述历史容量利用率曲线预测所述磁盘的容量利用率达到预设阈值的时间预测值；

相应的，所述根据所述磁盘的容量利用率调节所述磁盘的权重值，具体为：

根据所述磁盘的容量利用率和所述时间预测值调节所述磁盘的权重值。

可选的，还包括：

当接收到查询指令时，在查询界面显示所述历史容量利用率曲线。

可选的，所述按预设的磁盘容量利用率和磁盘权重值的对应关系，根据所述磁盘的容量利用率调节所述磁盘的权重值，具体为：