[发明专利]存储方法、主、副节点及包含其的系统

说明书

本发明实施例涉及分布式存储技术领域，公开了一种存储方法、主、副节点及包含其的系统。该方法包括：从本节点群的副节点中挑选出备用节点；其中，本节点群为本主节点所在的节点群，备用节点用于在本主节点下线时取代本主节点；监测本节点群的在线节点数量是否小于第一阈值，若小于第一阈值，则从系统中挑选出目标合并节点群，以将本节点群与目标合并节点群合并为新的节点群；其中，合并后的新的节点群存储合并前的各节点群所存储的数据；以及监测本节点群的在线节点数量是否大于第二阈值，若大于第二阈值，则拆分本节点群。本发明实施方式可以进一步提高去中心化分布式存储系统的可用性。

技术领域

本发明涉及分布式存储技术领域，特别涉及一种存储方法、主、副节点及包含其的系统。

背景技术

分布式存储系统是互联网的基石系统之一。目前，知名云厂商以及大型互联网公司都拥有自己的分布式存储系统。基于分布式存储系统可对普通用户提供网盘服务，其能够提供更大的存储容量以及更高的容错性。然而现有的这类服务都是基于中心化的分布式存储系统的，由于中心化的分布式存储系统的正确执行(如安全性、可用性等)依赖于某一个中心机构/模块，因此一旦云厂商的硬件或者网络出现问题，用户就无法访问其存储于中心化分布式存储系统中的数据。如何实现去中心化的高效的分布式存储系统，是目前学术界与工业界的热点研究问题之一。

在去中心化分布式存储系统中，亟需解决的问题之一是节点稳定性问题。任意一台计算机都能够加入并成为整个分布式存储系统中的一个新的存储节点。这些节点的稳定性无法和中心化分布式存储系统中由云厂商维护的存储节点相媲美，其随时可能下线。

实际上在传统的中心化分布式存储系统中，也存在节点意外下线或者受到攻击的情况。为了解决这些问题，在中心化分布式存储系统中，首先会挑选出一个主节点(即Master节点)，之后系统的一致性等问题均依赖这一中心化的主节点。一旦主节点下线，会由一个预先指定的备份节点接管主节点的工作。然而在去中心化分布式存储系统中，节点的可用性波动非常大，挑选出的主节点可能会频繁下线，甚至会有所有指定备份节点也同时下线/作恶的情况。对于这类在节点群中存在节点下线、作恶的情况下，让整个节点群达成一致的问题，最为基本的解决方法是Paxos一致性协议。该协议能够在节点群中至多三分之一节点下线/作恶的情况下，帮助整个节点群达成一致。该方案的主要缺点是难以应对去中心化场景下存在的频繁节点上下线情况。Paxos协议要求节点群的规模不发生变化，否则协议需要重新配置运行。在去中心化场景下，节点可能出现频繁的下线情况导致Paxos协议需要重新运行。同时由于在节点数目庞大的情况下，Paxos协议的运行时间较长，最终导致Paxos协议永远无法达成一致。

针对上述问题，现有技术还提出了分布式哈希表。上述存储系统中，所有数据都对应一个用于进行检索的键，并通过一个主节点管理所有键对应数据的分布情况，因此需要类似Paxos的协议预先协商出一个主节点。而分布式哈希表则预先确定键的分布情况，用户只需要对键计算一个哈希值，之后通过检索分布式哈希表，就能够找到该键具体存储在哪一个节点中。具体而言，在去中心化的情况下，分布式哈希表采用路由的方式建立。每个节点都会存储一部分哈希表，同时存储一部分节点信息。当用户需要访问某一个键对应的数据时，在本节点或者请求相邻节点以获得该键对应的哈希表，相邻节点会进一步扩散对该哈希表的查询请求，最终找到目标键对应的哈希表，定位目标数据的存储节点位置。

发明人发现分布式哈希表至少存在以下问题：在去中心化情况下，该方法本身并不保证一定能够找到对应哈希表。分布式哈希表本身不会确保目标需要查询的哈希表条目一定能够通过路由方式找到，换言之，该方法不能确保网络中的在线节点保存着完整的哈希表。因此，该种去中心化分布式存储系统仍不具备高可用性。

发明内容

本发明实施方式的目的在于提供一种存储方法、主、副节点及包含其的系统，以进一步提高去中心化分布式存储系统的可用性。