[发明专利]基于多级映射的大规模多副本分布式存储系统及其应用方法

说明书

技术领域

本发明涉及一套大规模分布式存储系统，具体地说，是涉及一套基于多级映射的大规模多副本分布式存储系统。

背景技术

随着数据密集型应用的日益普及，人们需要对越来越多的数据进行开放式存储和高性能计算，这对存储系统的可靠性，可扩展性等提出了苛刻的要求，而大规模分布式存储系统以其较为低廉的价格，良好的可扩展性等优势，得到了人们的青睐。其中，数据散列机制是大规模分布式存储系统的核心，该机制决定了系统中数据的存储布局，存储空间的利用程度，定位数据的复杂程度等。

衡量一个数据散列机制性能的具体指标如下：

1、数据散列的均衡程度：好的数据散列机制可以让数据均匀散列在各个存储节点上，不产生倾斜，只有这样的机制，才能保证整个系统不会产生存储热点，也可以极大的提升系统的存储空间利用率。

2、系统的可伸缩性：系统可以很好的接受新的存储节点的加入和退出，在有新节点加入时，可以将其他节点的负载均匀的迁移到新加入的节点中，减轻老旧节点的负载，扩充系统容量；在需要淘汰掉老旧节点时，可以将老旧节点上的数据均匀地迁移到其他节点上，不会造成局部热点，并且，数据的迁移不会影响到数据的可用性，系统规模的扩大，也不会对系统的管理成本造成太多的提高。

3、系统对副本的支持：在大规模分布式存储系统中，节点的失效是一件十分常见的事情，然而不能因为节点的失效而使存储在节点上的数据丢失，同时，为了保证用户体验，也应该尽量避免在恢复数据的过程中出现数据临时不可用的情况发生，副本机制可以很好的解决上述问题，为系统提供副本机制，不但可以分担用户对同一资源的访问压力，还可以使数据的存储更为可靠。

4、对节点的权重的支持：整个系统的存储规模会随着时间的增长而变化，随时都有新的节点被加入，也有老的节点被移除，系统中的各节点的能力即权重不可能一样，因此，为保证系统中每个节点的负载在同一个水平上，也为了防止热点出现，对每个节点都应予以不同的权重，以表明其负载能力，并根据权重进行负载安排。

5、定位数据的花销：随着系统规模越来越大，高效的定位到存储在系统中的数据变得十分重要，定位数据的难易程度，时间长短，会直接影响用户体验。

6、管理的难易程度：系统规模的扩大，直接导致系统管理越来越复杂，也因此，很多散列机制提出了让系统自治的算法，但同时，也应该给管理员提供手动控制系统的接口，让系统可控。

以上六点，其中前两点是大规模分布式存储系统的核心，第三点保证了系统的可靠性，第四点关注系统的整体效能，后两点主要针对用户的体验。

现有技术中的存储系统所应用的散列机制主要包括以下类型：最原始的静态哈希散列机制，不足之处是该机制在系统扩容时要付出巨大的代价，可扩展性不好，也不支持权重；线性哈希机制，虽然该机制考虑了系统的可扩展性和数据定位的花销，但是在数据散列的均匀程度上做的不够好，并且不支持副本和权重，也不易于管理；分布式哈希表机制，不足之处是该机制定位数据花销较大，须多次前递，同时不支持权重且难于管理，散列的均匀程度也较差。

发明内容

本发明的目的在于提供一套基于多级映射的大规模多副本分布式存储系统及其应用方法，解决现有技术中存在的大规模分布式存储系统中的数据散列不均衡，不支持副本及节点权重等问题。

为了实现上述目的，本发明采用的技术方案如下：

基于多级映射的大规模多副本分布式存储系统，包括用于存储资源的存储节点集群，分别与该存储节点集群连接的对存储节点集群进行管理的管理节点和根据散列机制获取资源存储位置的客户端，以及连接该管理节点和客户端并接受管理节点管理、为客户端提供散列映射规则的规则节点集群。

具体地说，所述存储节点集群包括至少一个存储节点，规则节点集群包括至少一个规则节点。

基于多级映射的大规模多副本分布式存储系统的应用方法，包括以下步骤：

（a）系统初始化；

（b）客户端检查是否需要更新散列映射规则，如果需要更新，则更新至与规则节点相同的散列映射规则；

（c）客户端通过GUID生成算法确定待上传资源的GUID，并根据GUID结合散列映射规则计算出存储节点位置，将待上传资源存储至存储节点中；；

（d）客户端得到需要获取资源的GUID，并根据散列映射规则计算出需要获取资源的副本对应的存储节点地址，然后由与存储节点地址对应的存储节点查找该需要获取的资源，再向客户端回复查找结果。

进一步地，所述步骤（a）具体包括：

（a1）以初始化方式启动管理节点；