[发明专利]在故障存储设备上快速恢复数据的方法

说明书

本发明公开了一种用于在故障存储设备上恢复数据的方法。该方法包括检测第一存储设备发生故障的步骤；创建链接到第二存储设备的模拟管理模块；将存储在第一存储设备中的至少一些数据的副本写入第二存储设备；创建永久管理模块；以及删除模拟管理模块。该方法避免了节点之间的数据复制，其消耗了集群网络的带宽，并且还提高了复制效率，同时保持大多数集群结构不变。

技术领域

本发明涉及使用计算机网络的分布式数据存储技术，尤其涉及分布式数据存储系统中的故障数据存储设备的恢复。

背景技术

当今的企业和消费者面临着在诸如硬盘驱动器的非易失性数据存储系统上存储和管理不断增加的数据量的问题。计算机存储系统中一个有前景的解决方向是利用大规模商用计算机的集体存储容量来形成大型分布式数据存储系统。商业上可用的分布式数据存储系统的示例包括Ceph，其能够进行块、对象和文件存储，并且使得多个Ceph存储节点(服务器)能够协作以呈现容易处理许多拍字节的单个存储系统，并且同时提高性能和容量。另一示例是机架规模设计(RSD)，它是一种分解硬件逻辑架构，例如计算，存储和网络资源，来自预配置的服务器，并将它们部署在可共享的资源池中。

在设计这种分布式数据存储系统时，要考虑的一个重要因素是数据可靠性。一旦存储了数据，用户通常不希望或不能丢失任何存储的数据。遗憾的是，数据管理链在各种链路上容易出现故障，这可能导致永久性数据丢失或数据暂时不可用。例如，大规模分布式数据存储系统的许多单独组件中的任何一个可能由于各种原因而故障。硬盘故障、计算机主板故障、内存问题、网络电缆问题、连接松动(例如松散的硬盘驱动器电缆、内存电缆或网络电缆)、电源问题等都可能发生，导致数据无法访问。

因此，针对一个或多个存储设备发生故障的可能性，已经开发了用于分布式数据存储系统的各种数据恢复机制，而不管它是物理设备还是虚拟设备都无关紧要。一种典型的数据恢复方法以下列方式工作：当磁盘发生故障时，坏磁盘从分布式数据存储系统中的集群中取出，系统开始重新平衡并将故障磁盘中的数据副本复制到整个存储器集群中的其他可用存储设备。更换新的存储设备后，分布式数据存储系统将再次执行重新平衡，以保持集群中的所有磁盘均等利用。这种方法的带宽效率和处理能效低，因为它需要很长时间并且需要大量的网络带宽来执行两次重新平衡。这严重影响了整个存储器群集的性能。

发明内容

因此，在一个方面，本发明是一种用于在故障存储设备上恢复数据的方法。该方法包括检测第一存储设备发生故障的步骤；创建链接到第二存储设备的模拟管理模块；将存储在第一存储设备中的至少一些数据副本写入第二存储设备；创建永久管理模块；以及删除模拟管理模块。

重要的是，当存储设备发生故障时，本发明提供的实施例减少了数据存储系统的存储集群中所需的重新平衡量。在一些实施例中，重新平衡过程可以在对整个集群性能的干扰小得多的情况下完成，因为对故障设备的I/O请求将经由虚拟指针被引导到其他设备，并且只有当集群负载不高时才会进行将数据回填到替换存储设备。在一些其他实施例中，绑定到物理存储设备的虚拟磁盘可以在不同的恢复过程时间安装到不同的虚拟磁盘管理器，使得不是在集群中的不同节点之间进行数据传输，而是仅在相同的节点，例如通过本地计算机总线进行数据传输，这节省了网络带宽并导致更快的操作。最后，所提出的方法使用简单的方法，这些方法不太可能导致系统冲击和故障。集群的映射以及虚拟磁盘管理器都保持相同，这避免了额外的，不必要的计算和数据移动。

附图说明

从以下优选实施例的描述中，本发明的上述和进一步的特征将变得显而易见，所述优选实施例仅通过示例的方式结合附图提供，其中：

图1示出了根据本发明一个实施例的分布式数据存储系统的架构。

图2示出了图1的分布式数据存储系统中包含OSD和PG的主机的结构。

图3示出了指向外部主机中的资源的图2的主机中的模拟OSD中的虚拟指针的图示。