[发明专利]一种基于纠删码的分布式存储系统的退化读优化方法

权利要求书

1.一种基于纠删码的分布式存储系统的退化读优化方法，其特征在于，包括以下步骤：

1)第一阶段，首先建立纠删码分布式存储系统IO栈，对存储系统中的纠删码读操作进行分层分析，将纠删码读IO栈分为以下四层：消息处理层、操作分发层、操作处理层、对象读取层；

2)第二阶段，收集每个节点的纠删码读请求中每层的延迟情况、队列排队状态、指定时间内处理读写请求的个数软件性能数据，同时收集每个节点中的硬件数据，包含CPU、IO、网络数据，将这些数据进行格式统一处理，以三元组时间，性能指标，性能数据的方式传输至性能收集节点进行保存；

3)第三阶段，性能收集节点会收集保存每项性能数据，并对无用数据进行过滤操作，对过期数据进行清理操作；

4)第四阶段，根据建立的异构存储环境系统的节点性能评价方案，根据获取的存储软件性能数据和节点硬件数据评估每个节点的实时性能状态，计算出每个节点的性能权值；

5)第五阶段，数据收集评估节点将评估后各节点的实时性能权值分别发送至每个存储节点，每个存储节点接受到权值数据后更新原有的性能权值数据；

6)第六阶段，读请求所在的主节点会查看所需要的数据块节点是否都存活，如果发生故障的节点小于等于m个，便会发起退化读操作，系统根据保存在本地的节点性能权值数据选择性能最优的k-1个节点，然后发送读请求；

7)第七阶段，性能最优的k-1个节点响应主节点的读请求，将数据块或者校验块发送至主节点，主节点收到所有的数据块或校验块后进行解码操作，最后将完整数据发送至客户端，完成退化读操作；

第四阶段计算性能权值时，基于公式(1)-(4)对CPU、IO以及网络各项指标进行计算，并得出一个综合权值反应节点的性能状态，

I_n＝(iops^*+rs^*)*r_latency (2)

N_n＝(niops^*+throughs^*)*m_latency (3)

公式(1)中，n代表了第n个节点，V代表了某个节点的权值，I反映了当前节点的读数据能力，N反映了当前节点传输数据能力，C反映了节点当前计算能力，α、β、γ分别代表了在计算节点权值时IO、网络和CPU所考虑的比重，用户可根据对当前节点的判断状态采用不同的比重来得出最终的节点权值；公式(2)(3)(4)则分别说明了IO、网络、CPU的计算方法：公式(2)中，iops代表每秒的IO数量，rs代表每秒读取数据的大小，r_latency代表在分布式存储系统中读操作中读取数据层的延迟；公式(3)中，niops代表每秒上下帧的数量，throughs代表每秒的网络吞吐，m_latency代表在分布式存储系统中读操作中网络层的延迟；公式(4)中，sys和usr分别代表了内核和用户消耗CPU时间所占百分比，idle表示空闲时间所占百分比，o_latency代表读操作时分发处理层的延迟，其中，当sys+usridle，代表空闲时间大于系统总占用时间，此时CPU不会成为处理节点的瓶颈，因此将C_n设置为0；此外，公式中如x*形式均代表归一化处理结果，归一化方法使用线性函数转换。

2.根据权利要求1所述的一种基于纠删码的分布式存储系统的退化读优化方法，其特征在于，在第六阶段所述的小于等于m个，是要求分布式存储在丢失小于或等于m个数据块或者校验块时可以恢复出完整数据，如果丢失块数大于m代表无法利用解码操作恢复出原始数据。