[发明专利]大规模分布式存储系统中数据恢复方法及装置

说明书

本发明实施例提供一种大规模分布式存储系统中数据恢复方法及装置，该方法包括：使用元数据服务器扫描获取恢复任务，使用调度器读入并等待调度各所述恢复任务；将恢复任务的恢复时间划分成多个时间片，在各时间片根据所述存储系统的带宽使用信息，确定下放适量恢复任务；获取优选工作节点，若各恢复任务对应的数据块副本在优选工作节点中存在，则将优选工作节点中的一个作为该恢复任务的执行源节点；从所述正常工作节点中选择各恢复任务的执行目的节点，将恢复任务下放到执行源节点和执行目的节点，从而实现恢复任务的调度和执行。本发明实施例提高了数据恢复的速率，且对前台干扰小。

技术领域

本发明实施例属于分布式存储系统技术领域，更具体地，涉及一种大规模分布式存储系统中数据恢复方法及装置。

背景技术

如今大型存储系统可以拥有大量机器，每台机器有很大的存储空间。为了进行快速故障恢复，通常将数据分成块，这些数据块以多副本的形式保存在不同的节点里。当出现故障时，其他节点可以并行地重新复制其数据块以维护各数据块的冗余度。在大型存储系统中，经常需要进行数据恢复。

当前分布式存储系统广泛使用主从架构。分布式存储系统中每个ChunkServer用于存储数据块并在需要时将数据块传送到其他ChunkServers。MetaServer维护分布式文件系统的元数据，包括特定数据的位置和其他有用信息。有些规模非常大的系统具有的多个MetaServers。这些MetaServers以分布式方式组织，每组MetaServer只维护整个存储系统的元数据子集，每个小组都包含一些共识协议以容忍节点故障。此外，还有一个RootServer，用于提供路由服务，引导客户端到相应的MetaServer检索元数据。为了实现统一的数据分发，存储系统一般使用随机或加权随机机制将数据放在不同的ChunkServers上。为了在ChunkServer节点故障时保持相同级别的容错，恢复协议需要为故障节点上的每个数据块选择一对节点作为源节点和目标节点，并以一定的速率重新复制数据块。

现有的恢复协议为故障节点上的每个数据块随机选择源节点和目标节点，每个工作节点提供有限且固定的带宽用于恢复。当选择的节点带宽使用量较大时，会延迟恢复时间，如果在恢复期间发生其他故障，恢复时间越长，数据丢失的可能性就越大；此外，由于存储系统仍需要在恢复期间为应用程序的I/O请求提供服务，当下发的恢复任务过多时会对前台流量产生较大影响。

发明内容

为克服上述现有的数据恢复方法恢复可能延迟且对前台流量造成干扰的问题或者至少部分地解决上述问题，本发明实施例提供一种大规模分布式存储系统中数据恢复方法及装置。

根据本发明实施例的第一方面，提供一种大规模分布式存储系统中数据恢复方法，包括：

使用元数据服务器对存储系统的元数据进行扫描，若根据扫描结果获知故障工作节点中存在副本的数据块，将各所述数据块的恢复任务存储到所述存储系统中，使用调度器从所述存储系统中读入并等待调度各所述恢复任务；

将所述恢复任务的恢复时间划分成多个时间片，在各所述时间片内开始时根据所述存储系统的带宽使用信息，确定下放的所述恢复任务的数量；

将所述存储系统中剩余带宽大于第一预设阈值且存放受损数据块的副本数量小于第二预设阈值的正常工作节点作为优选工作节点，若各所述恢复任务对应的数据块副本在所述优选工作节点中存在，则将所述优选工作节点中的一个作为该恢复任务的执行源节点；

从所述正常工作节点中选择各所述恢复任务的执行目的节点，根据所述恢复任务的下放数量、执行源节点和执行目的节点下放所述恢复任务到各所述正常工作节点，使用各所述正常工作节点执行各所述恢复任务。

根据本发明实施例第二方面提供一种大规模分布式存储系统中数据恢复装置，包括：