[发明专利]一种自动冗余的分布式存储系统及方法

说明书

技术领域

本发明属于数据存储领域，特别设计一种自动冗余的分布式存储系统及方法。

背景技术

随着数据增长，高性能计算发展，集群已经成为理想的并行计算平台。随着集群规模扩大，数据风险也越来越高。因此，使集群系统，在部分节点失效的情况下，也能正常运作，成为一个迫切的需求，容错机制的研究意义远大。

目前，业内对并行文件容错已经有所研究：元数据管理器按照数据放置策略，使一个I/O节点的所有子文件的副本可以平均分布的所有其他I/O节点上。在任一节点失效后，其上的工作负载能够平均分布到所有其他没有失效的I/O节点上。节点重新加入集群进行数据一致性的恢复时，系统使一致性恢复负载也能够平均分布到整个集群内。

然而，当前Hadoop单一Namenode单一Jobtracker的设计严重制约整个Hadoop可扩展性和可靠性。首先，Namenode和Jobtracker是整个系统中明显的单节点故障源。再次单一的内容量有限，使得集群的节点数量被限制到2000个左右，能支持的文件大小被限制在10-50PB，最多能支持的文件数量大约为1.5亿左右。而且文件级冗余，单个逻辑存储单元比较大，存储资源利用率低。

由于每个文件都是由不同的逻辑块组成，每一个逻辑的文件块存储在连续的物理磁盘块上，但组成一个文件的不同逻辑块极有可能存储在分散的磁盘快上。文件级复制在对非连续存储磁盘上的文件进行复制时需要额外的查找操作。这些额外的操作增加了磁盘的开销，降低了磁盘的吞吐率。且因为每次修改都是基于文件的，而文件的哪些部分被修改，系统很难实时捕获，故文件级难于做到实时备份。

发明内容

本发明要解决的技术问题是提供一种自动冗余的分布式存储系统及方法，实现磁盘块冗余提高资源利用率，复制的实时性以及备份效率，在存储设备故障时仍可保证所有数据可用。

为解决上述技术问题，本发明的实施例提供一种自动冗余的分布式存储系统，包括：

存储池，用于对多个逻辑驱动器进行管理；

逻辑驱动器添加模块，用于将磁盘阵列设备提供的逻辑驱动器添加到所述存储池中；

副本存储模块，用于将写入的数据以数据块进行存储，所述数据块中的数据的备份副本存储到所述存储池的逻辑驱动器中。

其中，所述逻辑驱动器添加模块还用于将由同一磁盘阵列设备提供的逻辑驱动器划分为一组，添加到所述存储池中。

其中，所述逻辑驱动器添加模块还用于将所述存储池中的所述逻辑驱动器分为多个逻辑存储单元，所述数据块中的数据的备份副本保存于一个或多个逻辑存储单元中。

其中，所述副本存储模块包括：

副本创建单元，用于根据预设的所述存储池的冗余度级别，为所述数据块创建与冗余度级别数目相同的备份副本；

保存子单元，用于将所述备份副本连同原始数据块分散地存储在不同的逻辑驱动器的逻辑存储单元中。

上述系统，还包括：

检测模块，用于实时检测所述逻辑存储单元的冗余度级别；

冗余度级别设定模块，用于在检测到一逻辑存储单元的冗余度级别降低时，将该逻辑存储单元标注为比原设定冗余度级别低的冗余度级别；

故障修护模块，用于在检测到一逻辑存储单元的实际冗余度级别低于其设定冗余度级别时，对所述逻辑存储单元的冗余度级别开始修复。

其中，冗余度级别设定模块具体用于在检测到一逻辑存储单元的冗余度级别降低时，将该逻辑存储单元标注为比原设定冗余度级别低一级的冗余度级别。

其中，所述故障修护模块包括：

第一修护子模块，用于在存储池中寻找到空闲空间时创建数据块副本，直至逻辑存储单元的冗余度级别恢复到设定级别；

第二修护子模块，用于在存储池空间不足时，发出增加逻辑驱动器或扩展逻辑驱动器容量的提示信息。

为达到上述目的，本发明的实施例还提供一种自动冗余的分布式存储方法，包括下列步骤：

将磁盘阵列设备提供的逻辑驱动器添加到所述存储池中；

将写入的数据以数据块进行存储，所述数据块中的数据的备份副本存储到所述存储池的逻辑驱动器中。

其中，将磁盘阵列设备提供的逻辑驱动器添加到所述存储池中的步骤还包括：

将由同一磁盘阵列设备提供的逻辑驱动器划分为一组，添加到所述存储池中。

其中，将磁盘阵列设备提供的逻辑驱动器添加到所述存储池中的步骤还包括：