[发明专利]一种基于分区处理共识算法的分布式存储系统优化方法

摘要

本发明公开了一种基于分区处理共识算法的分布式存储系统优化方法，属于分布式系统性能优化领域，主要解决现有分布式存储系统性能随客户端命令冲突的增多而下降的问题。该优化方法实时监控客户端命令的处理情况，并根据客户端命令处理情况，判断是否需要进行分区处理。对无需分区处理的情况，分布式存储系统中各副本采用EPaxos共识算法处理客户端命令；对需要分区处理的情况，先生成分区方案，再根据具体的分区方案协调分布式存储系统中各副本的处理流程，进行分区处理。本发明在客户端命令冲突影响分布式存储系统性能的情况下，能提升系统的延迟与吞吐量性能，同时可以更好地适应不同的客户端环境，满足实际应用的需求。

主权项

1.一种基于分区处理共识算法的分布式存储系统优化方法，其特征在于，包括如下步骤：(1)各副本采用EPaxos共识算法处理客户端命令；(2)实时监控客户端命令的处理情况：分布式存储系统每隔t秒从各副本r处收集四元消息(r,K_i,T_r,i,S_r,i)；其中，r∈[1,N]，N表示分布式存储系统中副本总数；K_i表示副本收到的客户端命令的关键字，i∈[1,I]，I表示分布式存储系统中关键字总数；T_r,i表示副本r收到并提交的关键字为K_i的客户端命令总数；S_r,i表示副本r收到并提交的关键字为K_i的客户端命令中执行SlowPath阶段的命令数量；(3)判断是否需要进行分区处理：对于每个关键字K_i，i∈[1,I]，当不进行分区处理时，系统中传递的消息总数M1_i表示为：当进行分区处理时，系统中传递的消息总数M2_i表示为：其中，表示分布式存储系统可以容忍的最大故障副本数；R表示具有关键字K_i处理权的副本；从系统传递的消息总数来看，当M2_i<M1_i时，即：时，关键字K_i宜进行分区处理；考虑分区处理还需消耗少量系统资源，将K_i进行分区处理的条件转化为即：当K_i满足时，进行分区处理；否则，不进行分区处理；当分布式存储系统中存在需进行分区处理的关键字时，转至步骤(4)；否则，转至步骤(1)；(4)生成分区方案：(4.1)对需进行分区处理的每个关键字K_i，分布式存储系统计算与的差值Δ_i以及T_r,i的方差σ_i，r∈[1,N]；并初始化各副本r目前所需处理的客户端命令数Deal_r；(4.2)分布式存储系统对需进行分区处理的关键字K_i进行优先级排序：首先按Δ_i降序排列；在Δ_i相同的情况下，按σ_i升序排列；关键字排序越靠前，优先级越高；(4.3)对需进行分区处理的关键字，分布式存储系统按优先级从高到低的顺序依次分配处理权给特定副本，构成分区方案，将分区方案发送给系统中所有副本；(5)进行分区处理：副本收到分区方案后，对收到的客户端命令，查看关键字是否在分区方案中；当关键字在分区方案中时，进行分区处理，即：将客户端命令转发给分区方案中具有该关键字处理权的副本，具有处理权的副本采用EPaxos共识算法处理客户端命令；当关键字不在分区方案中，副本直接采用EPaxos共识算法处理客户端命令；(6)转至步骤(2)。