[发明专利]基于蚁群优化的纠删编码存储系统数据更新方法

说明书

本发明公开了一种基于蚁群优化的纠删编码存储系统数据更新方法，提出集合式更新模式，以及这种模式中随机选择集合节点和选取最优集合节点两种集合节点的选择方式，并将这种更新模式分为数据增量的收集和校验增量的分发两个阶段，最后结合蚁群算法的特点，从距离，带宽，延时三个影响纠删码更新的网络因素出发，设计一种多目标蚁群优化路由算法来处理两个阶段的数据传输问题。本发明为数据增量的收集以及校验增量的分发找到最佳路由，从而降低数据在网络中的延时，提高纠删码的更新效率。

技术领域

本发明涉及分布式存储系统，特别是一种基于蚁群优化的纠删编码存储系统数据更新方法。

背景技术

由于高可用性和空间效率，纠删码已成为在分布式存储系统中提供数据持久性的事实标准。纠删码将大的数据对象划分成小的数据块，然后将其编码为多个数据块以及校验块，并将其部署在不同群集的节点上。

对持久性和存储效率的需求使纠删码成为一个新的有吸引力的设计点。关于众所周知的纠删码RS(n，k)，一个大小为D字节的文件被分为k个大小相等的数据块d_i(1≤i≤k)，每个大小D/k字节。然后，这些数据块被编码成一组(也称为条带)k数据块和(n-k)校验块，这些块分布在n个不同的存储节点(D₁...D_k；P₁...P_n-k)中，属于不同的集群，以此来最大限度地提高系统的可靠性。每个校验块p_j(1≤j≤(n-k))可以是根据式:来计算，其中表示d_i到的p_j系数。基于这种线性编码，n个块中任何不多于k个块出现故障就可以重建整个原始文件。

数据更新在分布式存储系统中很常见。许多企业的服务器和网络文件系统，更新请求主导了写入工作负载(通常超过90％)。在典型的(n,k)MDS纠删码存储系统中，一个数据块的更新请求涉及(n-k)个校验块的更新。根据更新过程中是否传输整个数据块，更新可以分为两类：基于RAID的更新和基于增量的更新。基于RAID的更新方案需要在数据节点和校验节点之间传输整个数据块，也就是说，为了完成对数据节点的更新，数据节点需要收集所有数据块，然后重新计算所有的校验快，并将其传到相应的校验节点。相比之下，基于增量的更新方案可以节省更多的I/O和网络带宽，因为数据节点上的更新可以通过将增量(数据块要修改的部分)通过广播的方式传输到每一个校验节点。但是，频繁的数据更新会导致巨大的I/O和带宽开销。尤其是在使用纠删码的健/值存储系统中，对健/值数据进行密集的小型更新会导致昂贵的I/O操作和网络流量。

提高纠删码的更新效率具有重要意义。因此，最近投入了大量精力来优化更新性能，同时减少I/O和网络延迟。现有的更新方案，如Azure和CodFS，采用追加式更新或替换式更新和混合更新。在大规模分布式存储系统中执行纠删码更新的琐碎操作可能导致性能显著下降。数据更新涉及到对多个校验节点的更新，不可避免地会导致相当大的I/O和带宽开销。

第一个挑战是当有多个数据节点需要更新时，这些节点之间的协作将导致大量的网络流量和编码操作。增量和编码计算操作可以在所有数据节点上高效地执行，以实现并行更新。然而，如何以最小网络流量将这些Δp_j传递到相应的校验节点是一个关键问题。

第二个挑战是如何为异构大型网络存储系统中的每一个传输找到一个最佳路径，涉及到不平等的I/O吞吐量、跨节点的链路带宽和其他QoS限制。从根本上说，这是一个多目标的路由发现优化问题，充分利用网络资源，提高数据更新效率。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种基于蚁群优化的纠删编码存储系统数据更新方法，为数据增量的收集以及校验增量的分发找到最佳路由，从而降低数据在网络中的延时，提高纠删码的更新效率。

为解决上述技术问题，本发明所采用的技术方案是：一种基于蚁群优化的纠删编码存储系统数据更新方法，包括以下步骤：