[发明专利]一种分布式存储系统中数据重构的方法、存储节点设备

说明书

本申请公开了一种分布式存储系统中数据重构的方法，其特征在于，该方法包括，在存储节点侧，当重构任务被触发时，根据当前第一重构速度和当前第二重构速度，确定该存储节点当前重构速度，按照当前重构速度，进行数据重构，其中，第一重构速度为该存储节点自身速度，第二重构速度为该存储节点所在集群的期望目标重构速度。本发明使得集群整体重构速度得以自适应地调整，维持了整个集群重构速度的动态平衡，避免了重构任务过快地执行而带来的重构压力，降低了集群中的资源的抢占。

技术领域

本发明涉及数据存储领域，特别地，涉及一种分布式存储系统中数据重构的方法和存储节点设备。

背景技术

分布式存储系统是一种将数据分布式存储于多个位于不同物理位置的存储节点、各存储节点之间通过网络互相连接，组成一个完整的、整体逻辑上集中而物理上分散的系统。

为防止硬件故障或机器宕机导致的数据丢失，提高数据容灾性保护，分布式存储现有的数据冗余保护方案包括冗余备份和冗余编码两种。其中，冗余编码技术相比于冗余备份更能节省存储空间而被广泛应用于分布式存储系统中来保证数据的可靠性。

然而，传统的冗余编码技术，在重构数据时将消耗更长的时间，从而增加了发生永久性数据丢失的风险。

发明内容

本发明提供了一种分布式存储系统中数据重构的方法，以控制重构数据所带来的系统资源消耗。

本发明提供的一种分布式存储系统中数据重构的方法是这样实现的：在存储节点侧，

当重构任务被触发时，根据第一重构速度和第二重构速度，确定该存储节点当前重构速度，

按照当前重构速度，进行数据重构，

其中，

第一重构速度为该存储节点当前自身速度，

第二重构速度为该存储节点所在集群的当前期望目标重构速度。

较佳地，所述根据当前第一重构速度和当前第二重构速度，确定该存储节点当前重构速度，包括，

根据存储节点第一重构速度、第二重构速度、以及当前重构任务与上一重构任务被执行的第一时间间隔，确定下一重构任务被执行的第二时间间隔，

所述按照当前重构速度，进行数据重构，包括，

当到达所述第二时间间隔时，执行重构任务，进行数据重构。

较佳地，所述根据存储节点当前第一重构速度、第二重构速度、以及当前重构任务与上一重构任务被执行的第一时间间隔，确定下一重构任务被执行的第二时间间隔，包括，

根据第二重构速度、集群内的存储节点数量，计算集群内每台存储节点的平均重构速度，得到第三重构速度；

在存储节点负载小于设定的负载阈值时，计算第一重构速度与第三重构速度的比值，将该比值与第一时间间隔相乘，得到第二时间间隔；

若第二时间间隔大于设定的最小值、且小于设定的最大值，则该第二时间间隔为最终结果，

若第二时间间隔小于等于最小值，则将该最小值作为第二时间间隔，

若第二时间间隔大于等于最大值，则将该最大值作为第二时间间隔。

较佳地，所述存储节点负载小于设定的负载阈值包括至少以下之一：

存储节点的CPU负载率小于设定的第一阈值；

存储节点的内存负载率小于设定的第二阈值；

存储节点的网络资源负载率小于设定的第三阈值；

所述重构任务按照优先级被触发。