[发明专利]一种基于主从副本数据解耦的高性能分布式键值存储方法

说明书

本发明公开了一种基于主从副本数据解耦的高性能分布式键值存储方法，是应用于包含若干个节点的存储集群中，若任一节点第i次接收到键值数据，则对第i个键值数据进行解耦操作和差异化存储操作，使得所述第i个键值数据写入日志结构合并树或两层日志架构进行存储和管理，并对两层日志架构中的键值数据进行有序度可调操作，对故障节点中的键值数据按进行并行数据恢复操作。本发明能提升分布式键值系统的整体性能，并提供可根据应用的性能需求动态调整读写性能的机制，从而解决现有分布式键值存储系统中统一的多副本数据管理方案加剧系统读写放大的关键问题。

技术领域

本发明属于计算机存储系统技术领域，具体涉及在分布式键值存储系统(distributed KV Stores)中，基于主-从副本数据解耦来构建差异化的副本数据存储机制，并在此基础上设计有序度可动态调整的副本数据管理方案，实现高性能和读写性能可调整的分布式键值存储方法。

背景技术

为了适应海量非结构化数据的存储与访问需求，并克服传统关系型数据库、文件存储在可扩展性与性能等方面的不足，键值存储(简称为KV存储)系统提供了很好的解决方案，比如谷歌公司的LevelDB、脸书公司的RocksDB等单机键值存储系统，以及为支持大规模数据存储而衍生出的分布式键值存储系统，如PingCAP公司的TiKV，亚马逊公司的DynamoDB，以及阿帕奇基金会的Cassandra。上述主流键值存储系统均采用日志结构合并树(LSM-tree)来管理键值数据(key-value pairs)，该架构将磁盘上的数据组织成多层有序形式，数据在内存排序后追加写入，优点是可以将随机写转换为顺序写，从而获得高效的写入性能，缺点是需要对相邻层间的数据做频繁的合并操作，由此造成严重的读写放大问题。

另一方面，为了保证数据的高可靠并提供数据容错，多副本容错机制被广泛应用在分布式键值存储系统中，即每个键值数据被复制成多份并存储在多个节点(当一个节点的数据丢失后，可以从其他节点进行数据恢复)。然而，现有分布式键值存储系统的多副本管理方案并未考虑日志结构合并树(LSM-tree)架构自身存在的读写放大问题，简单地在每个节点上采用一个日志结构合并树(LSM-tree)对所有副本数据进行统一存储。

因此，多副本机制下日志结构合并树(LSM-tree)中存储的数据量成倍增长，且在执行读写操作时不同副本数据之间会相互干扰，从而进一步加剧日志结构合并树(LSM-tree)的读写放大问题。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于主从副本数据解耦的高性能分布式键值存储方法，以期能提升分布式键值系统的整体性能，并提供可根据应用的性能需求动态调整读写性能的机制，从而解决现有分布式键值存储系统中统一的多副本数据管理方案加剧系统读写放大的关键问题。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于主从副本数据解耦的高性能分布式键值存储方法的特点是应用于包含若干个节点的存储集群中，若任一节点第i次接收到键值数据，则对第i个键值数据进行解耦操作和差异化存储操作；

所述解耦操作包括：

对所接收到的第i个键值数据中的键进行哈希计算得到第i个哈希值，然后根据第i个哈希值和一致性哈希环计算得到所述第i个键值数据中的键所映射到的一个节点编号；如果计算得到的节点编号等于当前接收到第i个键值数据的节点编号，则将所述第i个键值数据识别为主副本；否则，将所述第i个键值数据识别为从副本；

所述差异化存储操作包括：

若所述第i个键值数据为主副本，则将所述第i个键值数据写入节点的日志结构合并树中进行存储和管理；

若所述第i个键值数据为从副本，则将所述第i个键值数据写入一个两层日志架构中进行存储和管理。

本发明所述的高性能分布式键值存储方法的特点也在于，所述两层日志架构的写入步骤包括：