[发明专利]分布式数据库加速副本平衡的系统及方法

说明书

本发明公开了分布式数据库加速副本平衡的系统及方法，属于计算机通信技术领域，本发明要解决的技术问题为如何加速分布式数据库各节点副本平衡，采用的技术方案为：该系统包括副本平衡单元、Gossip单元、节点状态统计单元及负载分数统计单元；其中，副本平衡单元用于检测节点负载指标，判断是否满足平衡条件，若满足副本平衡条件，则触发副本迁移；Gossip单元用于实现节点之间同步数据，按Gossip协议的拓扑模式发送和接收节点状态统计数据；节点状态统计单元用于统计节点负载状态，通过Gossip单元发送状态统计数据到其他节点；负载分数统计单元用于根据Gossip单元上报的各节点负载状态统计数据，计算负载分数，汇总到集群节点负载分数记录表。

技术领域

本发明涉及计算机通信技术领域，具体地说是一种分布式数据库加速副本 平衡的系统及方法。

背景技术

分布式数据库底层通常将数据组织成有序的key-value对结构，并对key 空间分段，每一段称作一个范围Range，为容灾和支持高可用，一般对每个Range 配置固定个数的多个副本，再通过Raft协议做一致性复制。

如附图1所示，Raft组共有Leader、Follower及Candidate三种状态， Leader是所有请求的处理者；Follower被动从Leader接受请求，然后写入本 地日志文件；Candidate是候选者，一定条件下可以转为Leader。

在分布式数据库中，同一Raft组的多个副本通常分散在不同节点上，通常 一个Raft组有3个副本，一个副本只会属于Leader或Follower两种角色之一， Raft协议要求读和写都通过Leader进行，Leader负责和其他2个Follower 进行通信，Follower之间不互相通信。Leader通过日志复制保证副本操作的 ACID语意，同时周期性的向Follwer发送心跳。Follwer收不到心跳时，会随 机选择超时时间进行等待，过了超时时间后成为Candidate，并举行新的Leader 选举。

一个Range覆盖一个key范围，一般设定固定大小。随着Range数据的增 加，数据超过了固定大小，就需要分裂产生新的Range，新产生的Range副本 会组建新的Raft副本组。

副本平衡的目的是均衡各个节点存储、计算能力和网络压力，如果数据过 于集中在某些特定表，容易造成在某些节点多次Range分裂，这些节点副本数 增长过快，导致节点之间副本分布不均衡，最终可能导致个别节点提前进入负 载极限，甚至崩溃。

通常的副本平衡做法是定期检查节点负载指标，发现指标超过既定阈值， 即执行副本迁移。但是为减少无效检查，定期检查的时间间隔较长，实时性较 差，而且没有快速的方法寻找副本迁移的最优节点。

分布式数据库在大规模数据持续写入过程中，容易出现副本在个别节点集 中分布的情况，而且短时间无法分布均匀。分布式数据库集群处理逻辑复杂， 数据分布无法提前预估，如果在短时间导入大量数据时，容易出现副本分布不 均衡情况，而且短时间无法分布均匀，影响集群稳定。

通常的副本平衡做法是定期检查副本数、内存和磁盘占用、QPS等指标， 发现指标超过既定阈值即执行副本迁移。但是副本分布不均时，副本分布少的 节点因不满足副本迁移条件多数处于闲置状态。但是为减少无效检查，定期检 查的时间间隔不能设置过短，即无法在短时间内实现副本均衡。

故如何加速分布式数据库各节点副本平衡是目前亟待解决的技术问题。

发明内容

本发明的技术任务是提供一种分布式数据库加速副本平衡的系统及方法， 来解决如何加速分布式数据库各节点副本平衡的问题。

本发明的技术任务是按以下方式实现的，一种分布式数据库加速副本平衡 的系统，该系统包括，

副本平衡单元，用于检测节点负载指标，判断是否满足平衡条件，若满足 副本平衡条件，则触发副本迁移；