[发明专利]一种控制数据下刷速度的方法、系统、设备及介质

说明书

本发明公开了一种控制数据下刷速度的方法、系统、设备和存储介质，方法包括以下步骤：响应于接收到集群写入的数据，判断数据是否满足写入缓存盘的条件；响应于数据满足写入缓存盘的条件，将数据写入缓存盘并判断集群是否处于故障恢复状态；响应于集群处于故障恢复状态，判断缓存盘当前的磁盘水位是否小于基准水位；以及响应于缓存盘当前的磁盘水位小于基准水位，暂停数据下刷。本发明提出的方案通过获取存储集群的状态，综合集群状态及自身状态调整缓存盘中的数据下刷速度，可以使得缓存盘中的磁盘水位保持在健康状态。

技术领域

本发明涉及分布式存储领域，更具体地，特别是指一种控制数据下刷速度的方法、系统、计算机设备及可读介质。

背景技术

随着云计算技术的兴起和普及，分布式共享存储系统越来越开始受到业界的关注。在视频监控和广电媒资场景要求持续稳定的性能，当前故障场景下数据恢复对性能影响很大，会导致业务访问异常，因此要控制数据重构的速度，降低数据恢复对业务的影响；另外在集群中出现磁盘故障和节点故障时，为了避免数据丢失，要尽快完成数据恢复和均衡，因此同时提升数据恢复速度，保证数据恢复在短时间能够完成。

当前在分布式存储系统中，一般将用户读写数据首先保存在缓存数据盘中，然后随着数据访问频率及缓存数据盘水位的变化，会将部分数据从Cache高性能存储介质中下刷到性能相对较低的存储介质中方式提升集群的读写性能。当集群发生故障时，数据的下刷会严重影响数据恢复的性能，同时数据恢复也使得数据下刷速率很慢，导致整个集群的读写长时间不能恢复正常。

发明内容

有鉴于此，本发明实施例的目的在于提出一种控制数据下刷速度的方法、系统、计算机设备及计算机可读存储介质，通过获取存储集群的状态，综合集群状态及自身状态调整缓存盘中的数据下刷速度，从而达到故障场景下减缓下刷，使得数据恢复能尽快完成，减少对用户业务的读写，同时在集群恢复正常后，加速下刷，保持缓存健康的磁盘水位。

基于上述目的，本发明实施例的一方面提供了一种控制数据下刷速度的方法，包括如下步骤：响应于接收到集群写入的数据，判断所述数据是否满足写入缓存盘的条件；响应于所述数据满足写入缓存盘的条件，将所述数据写入缓存盘并判断所述集群是否处于故障恢复状态；响应于所述集群处于故障恢复状态，判断所述缓存盘当前的磁盘水位是否小于基准水位；以及响应于所述缓存盘当前的磁盘水位小于基准水位，暂停数据下刷。

在一些实施方式中，还包括：响应于所述集群不处于故障恢复状态，判断所述缓存盘当前的磁盘水位是否小于第一阈值；以及响应于所述缓存盘当前的磁盘水位不小于第一阈值，加快数据下刷速度。

在一些实施方式中，还包括：响应于所述缓存盘当前的磁盘水位小于第一阈值，判断所述缓存盘当前的磁盘水位是否小于第一阈值以下的第二阈值；以及响应于所述缓存盘当前的磁盘水位小于第二阈值，减缓数据下刷速度。

在一些实施方式中，所述判断所述数据是否满足写入缓存盘的条件包括：判断所述数据的大小是否小于预设值；和/或判断所述缓存盘的磁盘水位是否小于极限水位。

本发明实施例的另一方面，还提供了一种控制数据下刷速度系统，包括：第一判断模块，配置用于响应于接收到集群写入的数据，判断所述数据是否满足写入缓存盘的条件；第二判断模块，配置用于响应于所述数据满足写入缓存盘的条件，将所述数据写入缓存盘并判断所述集群是否处于故障恢复状态；第三判断模块，配置用于响应于所述集群处于故障恢复状态，判断所述缓存盘当前的磁盘水位是否小于基准水位；以及执行模块，配置用于响应于所述缓存盘当前的磁盘水位小于基准水位，暂停数据下刷。

在一些实施方式中，还包括第四判断模块，配置用于：响应于所述集群不处于故障恢复状态，判断所述缓存盘当前的磁盘水位是否小于第一阈值；以及响应于所述缓存盘当前的磁盘水位不小于第一阈值，加快数据下刷速度。