[发明专利]一种分布式数据集群存储系统

说明书

本发明公开一种分布式数据集群存储系统，该存储系统包括：多个存储节点，用于存储代理节点发送的待存储数据；所述存储节点由多个存储实例组成，同一个存储节点中的多个存储实例保存相同的数据，同一个存储节点的多个存储实例都部署在同的物理服务器上；多个主控服务器，用于维护所述存储节点的参数配置信息；所述代理节点，用于接收客户端发送的待存储数据，计算所述待存储数据的hash值并根据所述参数配置信息确定与所述待存储数据对应的hash值和存储节点。本存储系统具有构建和维护简单、扩容灵活可靠、高可用性、高稳定性和高数据安全性的优点。

技术领域

本发明涉及集群存储系统，特别是一种分布式数据集群存储系统。

背景技术

集群存储是将多台存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池，应用可以通过该访问接口透明地访问和利用所有存储设备上的磁盘，可以充分发挥存储设备的性能和磁盘利用率。数据将会按照一定的规则从多台存储设备上存储和读取，以获得更高的并发访问性能。

现有的集群存储系统，如HP Ibrix集群存储系统、华赛N8500集群NAS系统、中科院计算所BWStor蓝鲸集群存储系统、龙存科技LoongStore集群存储系统等等，虽然具有很高的性能，但是构建和维护起来很复杂，扩容不够灵活可靠，限制了数据的吞吐量，在处理巨大的数据量时可用性和稳定性都不高，且数据安全性难以保证。

发明内容

为了克服现有技术的上述缺点，本发明的目的是提供一种构建和维护简单、扩容灵活可靠、高可用性、高稳定性和高数据安全性的分布式数据集群存储系统。

本发明解决其技术问题所采用的技术方案是：

一种分布式数据集群存储系统，该存储系统包括：

多个存储节点，用于存储代理节点发送的待存储数据，各所述存储节点包括多个用于映射不同键值信息的hash值，所述待存储数据包括键值信息和数据信息；

所述存储节点由多个存储实例组成；同一个存储节点中的多个存储实例保存相同的数据，同一个存储节点的多个存储实例都部署在同的物理服务器上；

多个主控服务器，用于管理所述存储节点，维护所述存储节点的参数配置信息，所述参数配置信息包括各存储节点所构成的集群的网络拓扑关系、各存储节点的hash值以及各存储节点的负载量；

所述代理节点，用于接收客户端发送的待存储数据，计算所述待存储数据的hash值并根据所述参数配置信息确定与所述待存储数据对应的hash值和存储节点。

作为本发明的进一步改进：所述主控服务器还用于动态增删所述存储节点。

作为本发明的进一步改进：所述主控服务器进一步用于：

根据所述参数配置信息中的各存储节点的负载量，判断各存储节点的负载量是否在预设的阈值范围内；

若是，则保持存储节点数目不变；

若否，则增加/移除存储节点，重新分配各存储节点的hash值，并更新所述参数配置信息。

作为本发明的进一步改进：所述主控服务器进一步用于：

判断是否存在负载量大于所述阈值范围的最大值的存储节点；

若是，则增加至少一个存储节点；

判断是否存在负载量小于所述阈值范围的最小值的存储节点；

若是，则移除至少一个存储节点。

作为本发明的进一步改进：所述主控服务器还用于实时监控所述物理服务器的运行状况。

作为本发明的进一步改进：所述主控服务器进一步用于：