[发明专利]异构分布式键值存储系统Raft组数据自适应分布方法

说明书

本发明涉及一种异构分布式键值存储系统Raft组数据自适应分布方法，包括以下内容：根据磁盘读写性能和节点KV接口读写性能间的拟合函数，估计节点的读写性能；根据写性能分配数据；每隔设定时间采集系统读写数据情况，并对读写数据情况进行判断；如果是写为主，将Leader在所有副本中设置为最快节点；如果是读为主，根据读性能分配Leader。本发明结合Raft协议的特性，有效利用了节点的性能，对系统的读写性能大幅度提升。

技术领域

本发明是关于一种异构分布式键值存储系统的Raft组数据自适应分布方法，涉及分布式存储、键值存储、异构以及Raft协议领域。

背景技术

异构分布式键值存储系统：随着分布式存储系统的大规模部署，相当一部分大数据存储于键值(KV)存储系统。与传统关系数据库相比，KV存储具有更高的可扩展性和效率，适应大数据的要求。随着分布式KV存储系统的规模增大，目前异构分布式KV存储系统将成为趋势。主要原因有两点：一、SSD等磁盘的使用寿命有限，并且磁盘在分布式存储系统中损坏率高，因此会常常替换磁盘，而新盘一般比旧盘性能更好、性价比更高；二、高端SSD和NVM等新型硬件价格贵，在集群中只部署一部分这些设备能获得更高的性价比。

Raft协议：之前分布式系统中是使用Paxos协议来保证数据的一致性，但是Paxos协议特别难懂，且不能作为构建实际应用的好基础。直至2014年Raft协议的提出，Raft协议易懂且适应实际的系统，许多系统如Etcd、TiKV等都使用Raft协议。Raft协议处理读写请求的过程如下，假设分布式系统中有3个节点：首先，Raft会选举一个节点成为Leader，Leader负责处理读写请求等，另外2个节点成为Follower。当一个写请求从用户到达Leader时，Leader会把该写请求追加到本地日志并分发给Follower。当有一半以上节点追加该请求日志成功时，Leader会应用该请求日志。当Leader应用请求日志完成时，会把结果返回给客户端。读请求只能从Leader上读取，不能从Follower上读取。当一个读请求从用户到达Leader时，为了保证线性一致性，会确保前面所有已经提交的请求日志应用完成了才会执行读请求，之后返回结果给客户端。

非易失内存：即Non-Volatile Memory(NVM)，是近年来正在兴起的新型快速存储介质，可以像内存一样按位进行访问，也可以像磁盘一样长期保存数据，断电后数据不丢失。目前最主流的NVM介质包括PCM、STT-MRAM和ReRAM等，其中，PCM相对最为成熟。Intel和镁光已经发布新型的NVM产品，分为PCIe接口和内存的DIMM接口两种产品形态，预期近期正式上市销售。

闪存：闪存(Flash)是过去几年内最为成功的新型存储介质，可以提供比磁盘高很多的性能，尤其是在随机访问性能方面优势非常明显。一般以固态硬盘(SSD)的产品形态出现，是标准的块设备，与磁盘的访问方式一样。按照接口不同一般分为PCIe接口、SAS接口和SATA接口的不同固态硬盘产品。

均衡分布技术：均衡分布技术是指每个节点都看成能力相同的同构节点，任意时刻每个节点存储的数据都差不多一样，Raft组的Leader在每个节点的数量也都差不多一样。在基于Raft协议的异构分布式键值存储系统中，Raft组的分布如图1所示，图中有六个节点，六个节点上总共有四个Raft组，每个Raft组都是三副本，每个节点都看成同构的节点，每个节点都有两份数据，Leader也均匀地分布在每个节点。这种均衡的数据和leader分布方式在同构分布式KV存储中是没问题的，但是在异构分布式KV存储中却出现了问题。

综上所述，现有的数据分布技术，例如均衡分布技术，没有考虑到异构场景，在异构分布式KV存储中，没有利用好快节点的性能，相反系统的性能常常被慢节点给拖慢。这是因为在Raft协议中，Leader必须要处理好数据才会反馈结果给客户端，如图1所示，Raft组2的Leader在最慢的节点上，系统的性能将被该节点给拖慢。

发明内容