[发明专利]一种基于纠删码的分布式存储系统的退化读优化方法

说明书

本发明公开一种基于节点性能评估的纠删码存储系统退化读优化方法，该方法根据分布式存储系统各节点的硬件性能实时状况和软件请求情况，将各节点性能数据发送至性能评估节点，性能评估节点根据各节点的硬件性能状况以及分布式存储系统的排队延迟，过滤无用数据，通过评价公式获得每个节点的实时性能权值，将权值写回至各个存储节点。当某些节点出现故障，上层读请求转变为退化读请求，系统根据全局性能状态挑选最优的某些节点并进行解码操作。该方法在保证退化读操作顺利完成的情况，降低了读操作响应时间，充分利用了各节点软硬件资源。

技术领域

本发明涉及计算机存储领域，尤其涉及了分布式存储中纠删码优化，应用了分布式监控技术、纠删码理论，提出一种退化读优化方法。

背景技术

随着近年来数据规模的爆炸式增长，纠删码容错技术在分布式存储系统受到了业界的广泛关注，开源存储系统Ceph、HDFS、Swift等实现了纠删码方法作为可使用的容错技术。与多副本容错技术相比，纠删码容错技术能够以低得多的存储开销提供相同甚至更高的数据可靠性。当分布式存储系统中出现节点失效时，当上层用户需要读取损坏节点的数据时，系统需要利用校验块数据将失效数据块恢复出来，并通过解码操作获得原始数据然后响应客户端读请求，这称为退化读操作。采用纠删码容错的分布式存储系统进行退化读操作时，需要从多个存储节点下载数据并对这些数据进行编解码运算，此过程中需要读取并传输大量的数据，占用多个节点的网络、IO、计算资源。

在当前异构的分布式存储系统中，存储节点会由于频繁更换造成硬件不同，同时每个节点会由于软件实现造成负载不均衡、繁忙程度不同等情况。当节点发生故障时，系统会简单选取某些节点进行解码操作，从而在退化读操作过程中无法充分利用各节点的性能差异，一方面导致无法合理使用节点资源，另一方面导致退化读性能下降，影响系统的整体响应时间。在对纠删码退化读操作优化中，传统方法往往仅考虑各节点的硬件资源带来的影响，而忽略了真实存储系统的软件影响，导致评估节点并不准确，不能充分利用各节点的差异性。

发明内容

在当前纠删码分布式系统中，虽然实现方法各不相同，但是对于一个读写操作而言过程是相似的，在纠删码的编码过程中，为了保证系统的可靠性，通常将k个数据块和m个校验块分布到k+m个节点上，以保证对于极大距离可分码(MDS码)而言当小于等于m个块失效时，通过读取存活节点的k个数据块或校验块可以恢复出原始数据，这是本发明的前提，同时对于一个含有纠删码的分布式系统而言，该前提也是一定成立的。

为了克服现有技术存在的问题，本发明的目的是提高纠删码分布式存储系统中退化读的性能，充分利用异构节点的资源和软件性能，通过结合软件各项数据和硬件指标的实时性能数据，动态评估各节点的性能状况，为退化读请求选择最优的k个节点，以此来提高退化读性能，降低系统响应读请求时间。

为了实现上述目的，本发明采取的技术方案为：

1)第一阶段，本发明首先建立纠删码分布式存储系统IO栈，对存储系统中的纠删码读操作进行分层分析。对于大型分布式存储系统而言，虽然IO流程在实现过程中步骤十分繁杂，但是可以将IO栈从不同的存储系统中抽象出来，而对于纠删码中的退化读操作而言，主要需要考虑纠删码读IO栈。在读IO栈中包括了从客户端发出读数据请求到存储节点接受到读请求进行响应读取数据，直到将完整数据返回至客户端。关于纠删码读IO栈主要可以分为以下四层：消息处理层、操作分发层、操作处理层、对象读取层。在消息处理层中，主要负责接受从各个客户端发送来的读请求；在操作分发层中，系统会根据需要读取的数据块或者校验块分发至各个节点；在操作处理层，节点会对现有中读请求队列中的请求进行封装，为读取数据做准备；在对象读取层，节点会根据读请求从存储设备上读取数据，并等待其他节点的数据块或者校验块，然后进行解码操作，最后将完整数据发送至客户端。