[发明专利]一种分布式容错键值存储的方法及装置

说明书

本发明涉及了分布式容错键值存储的方法，包括以下步骤：基于Cassandra构架建立键值存储的环形拓扑；设置环形拓扑中各节点的协调服务架构；响应于接收到多个增删改查任务，从基于协调服务架构的节点中选择至少两个节点作为协调节点；在协调节点处理增删改查任务。协调服务架构赋予所有节点均具备实现全部的功能的能力，能够完成作为协调节点以及作为服务节点的工作。同时，存储将包含多个节点，建立多个副本，各副本互为备份。数据的读写请求可以分布到多个节点、多个副本，从而实现了分布式容错功能，提高数据一致性，解决了节点负载的均衡以及任务延时的问题。

技术领域

本发明涉及大数据数据存储技术领域。本发明进一步涉及一种分布式容错键值存储的方法及装置。

背景技术

分布式系统中的数据存储器通常可以包括跨分布式系统的多个存储结构实施键值存储，其中键可以表示索引并且值可以表示存储和/或检索的对象。通过分布式系统的协调节点可以对指定的键值存储结构进行访问。NoSQL的结构通常提供弱一致性的保证，如最终一致性，或仅限于单个的数据项。这些特性意味着NoSQL数据库、Key-Value键值存储给予最终更多的自由度去选择更高性能、高可用以及更好扩展性的数据存储方法及方案。在对数据库中的数据进行CRUD增删改查操作时，基于Cassandra构架建立拓扑结构，Cassandra使用了分布式的Hash-Table环，这个环实现了Key->Server Node键-服务节点的映射，映射到这个环的键被关联到了特定的服务器节点。分配、映射键使用了某种特定的算法，如hash、基于键范围选值或者某种更复杂的方法。在环中的所有服务器节点中有一个协调节点，通过类似于Paxos的一致性算法选出。

然而，基于键值存储的关系型数据库在执行规模小而读写频繁、者大批量极少写访问的事务时，表现出来的性能通常不够理想，一致性不足、容错能力较差并且节点资源负载不均衡。

因此，需要提供一种在基于键值存储的关系型数据库执行大批量、小型读写任务时提高一致性、增强容错能力并均衡节点负载的解决方案。

发明内容

一方面，本发明基于上述目的提出了一种分布式容错键值存储的方法，包括以下步骤：

基于Cassandra构架建立键值存储的环形拓扑；

设置环形拓扑中各节点的协调服务架构；

响应于接收到多个增删改查任务，从基于协调服务架构的节点中选择至少两个节点作为协调节点；

在协调节点处理增删改查任务。

根据本发明的分布式容错键值存储的方法的实施例，其中协调服务架构包括私有成员协议、虚拟环拓扑和增删改查功能组件。

根据本发明的分布式容错键值存储的方法的实施例，其中私有成员协议由传输层协议和故障检测协议组成，传输层协议配置为以组播的方式通知各节点环形拓扑的拓扑信息；故障检测协议配置为通过节点对于节点恢复请求的响应判断节点的故障情况。

根据本发明的分布式容错键值存储的方法的实施例，其中还包括：基于拓扑信息通过哈希算法计算得出虚拟环拓扑。

根据本发明的分布式容错键值存储的方法的实施例，其中在协调节点处理增删改查任务进一步包括：

将多个增删改查任务分配至至少两个协调节点；

至少两个协调节点并行地根据所分配到的增删改查任务基于增删改查功能组件生成执行指令；

将执行指令发送至相应的服务节点，使服务节点按照写时复制机制和/或读时同步机制执行增删改查任务。

根据本发明的分布式容错键值存储的方法的实施例，其中写时复制机制包括在执行写操作时，通过键-服务节点机制将数据映射写入到三个服务节点上形成同一数据的三个副本。