[发明专利]一种针对去中心化架构存储系统的迁移任务调度方法

说明书

本发明公开了一种针对去中心化架构存储系统的迁移任务调度方法，对每个迁移任务进行迁移后的数据分布进行预估，采集参与迁移硬盘带宽数据，建立基于去中心化架构存储系统的迁移任务干扰系数模型；为每个迁移任务建立任务干扰系数模型，通过观测硬盘观测窗口采样窗口内干扰系数的平均值，当干扰系数平均值小于设定阈值时，执行数据迁移；采集硬盘观测窗口内带宽变化调节迁移任务的速率，对迁移任务干扰系数模型的迁移带宽进行分配，实现迁移任务调度。本发明提高了去中心化架构存储系统的数据迁移速度的同时减少了迁移对于用户应用的影响。

技术领域

本发明属于分布式存储技术领域，具体涉及一种针对去中心化架构存储系统的迁移任务调度方法。

背景技术

随着人类进入了大数据时代，数据量成爆炸式的增长对存储系统提出了更高的要求，分布式存储系统的可扩展性遇到了巨大挑战，分布式存储系统的容量不断扩展，一方面存储系统需要保证性能的同步提高，另一方面存储系统还需要保持高可靠性和高可用性。为解决此问题，分布式存储技术得到了极大的发展，更多的研究点都集中在了分布式存储的高性能、高可靠性及高可用性上。

传统的分布式存储系统使用中心化的架构，将管理节点和存储节点分开，这样的架构在存储节点有限的时候具有很好的性能。但当面对海量的数据存储请求，中心化的管理节点将成为分布式存储系统的性能瓶颈。因为大量的用户访问在与存储节点建立联系前，都需要请求管理节点查询数据的存储位置，中心化架构面临的单点故障和性能瓶颈问题成为了制约中心化架构存储系统可扩展性的关键问题。

去中心化架构存储系统成为分布式存储系统发展的一个趋势，它在元数据管理上通常使用带权重的哈希算法来确定数据放置的位置，当客户端需要存取数据时，只需要在本地运行一遍特定的哈希算法就可以计算得到需要访问的存储节点，之后客户端可以直接与存储节点交互，这样的方法可以消除元数据服务器的性能瓶颈问题。

为满足海量的数据存储需求，大规模分布式存储系统面临着严峻的挑战，首先是频繁的硬件故障，其中节点故障和硬盘故障最为频繁，严重影响分布式存储系统的可靠性和可用性，当故障发生时，故障节点或硬盘中的数据需要恢复到存储系统其它的存储节点上，这个恢复过程会触发数据迁移，数据迁移对存储系统有两方面影响：一方面数据迁移的快慢直接影响存储系统的可靠性；另一方面，数据迁移会和存储系统中运行的用户应用的访问产生资源竞争，这将导致存储系统的性能下降。

在大规模存储集群中，运行着大量的用户应用，用户应用造成的负载通常是不均匀的，通常体现在存储节点负载的不均衡和存储设备(硬盘)负载的不均衡，这种不均衡的现象为数据迁移任务调度提出了挑战。

目前国内外分布式存储系统在单点故障或者业务需要迁移数据时，由于数据迁移过程对于存储系统上用户应用访问的影响，往往采取简单的限速策略，将每个硬盘提供给迁移任务的带宽设定为固定值。这会导致硬盘带宽利用率较低，迁移速率较慢，系统的可靠性下降等问题。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种针对去中心化架构存储系统的迁移任务调度方法，在确保减少影响用户应用访问质量的同时，提高迁移速度。

本发明采用以下技术方案：

一种针对去中心化架构存储系统的迁移任务调度方法，包括以下步骤：

S1、预估每个迁移任务结束后的数据分布，采集参与迁移硬盘带宽数据，建立基于去中心化架构存储系统的迁移任务干扰系数模型；

S2、为每个迁移任务建立步骤S1得到的迁移任务干扰系数模型，通过观测硬盘观测窗口采样窗口内干扰系数的平均值，当干扰系数平均值小于设定阈值时，执行数据迁移；

S3、采集硬盘观测窗口内带宽变化调节迁移任务的速率，对迁移任务干扰系数模型的迁移带宽进行分配，实现迁移任务调度。

具体的，步骤S1具体为：