[发明专利]用于对备份数据进行负载平衡的系统和方法

说明书

本发明公开了一种用于对备份数据进行负载平衡的计算机实现的方法，该方法可包括：(1)接收对备份多节点计算集群中的文件的请求，(2)识别文件在多个备份客户端之间的备份分布，(3)从集群中的数据节点读取当前文件的初始数据块，(4)从集群中的另一数据节点读取附加文件的初始数据块的副本，(5)从集群中的数据节点读取当前文件的后续数据块，以及(6)通过从多节点计算集群中的另一数据节点读取附加文件的后续备份数据块的副本来平衡当前文件和附加文件在数据节点和另一数据节点之间的备份。本发明还公开了各种其他方法、系统和计算机可读介质。

背景技术

在持续连接的时代，无法有效备份和恢复大量数据可能责任重大。传统系统可利用横向扩展备份架构，该架构在计算集群节点的多个代理客户端之间划分和分配大备份工作负载。然而，传统系统中的备份工作负载的工作负载分布可能导致代理客户端以不均匀的方式从计算集群节点获取备份数据块，从而在备份输入/输出操作期间，过度利用(例如，过载)一些节点而未充分利用其他节点。因此，本公开识别并解决了对用于对备份数据进行负载平衡的系统和方法的需求。

发明内容

如下文将更详细地描述的，本公开描述了用于通过以下方式对备份数据进行负载平衡的各种系统和方法：(1)接收对备份多节点计算集群中的文件的请求，(2)识别文件在多个备份客户端之间的备份分布，(3)从集群中的数据节点读取当前文件的初始数据块，(4)从集群中的另一数据节点读取附加文件的初始数据块的副本，(5)从集群中的数据节点读取当前文件的后续数据块，以及(6)通过从多节点计算集群中的另一数据节点读取附加文件的后续备份数据块的副本来平衡当前文件和附加文件在数据节点和另一数据节点之间的备份。

在一些示例中，该方法可包括将至少当前文件的初始备份数据块和后续备份数据块存储到存储系统。附加地或另选地，该方法可包括将至少附加文件的初始备份数据块和后续备份数据块的副本存储到存储系统。

在一些示例中，识别文件在多个备份客户端之间的备份分布可包括从多节点计算集群中的名称节点检索备份分布数据。多节点计算集群可包括Hadoop分布式文件系统(HDFS)。

在一些示例中，从另一数据节点读取附加文件的初始备份数据块的副本可包括在从数据节点读取当前文件的初始备份数据块的同时读取初始备份数据块的副本。在一些示例中，从另一数据节点读取附加文件的后续备份数据块的副本可包括在从数据节点读取附加文件的后续备份数据块的同时读取后续备份数据块的副本。

在一个示例中，用于对备份数据进行负载平衡的系统可包括存储在存储器中的若干模块，这些模块包括：(1)接收模块，其接收对备份多节点计算集群中的文件的请求，(2)识别模块，其识别文件在多个备份客户端之间的备份分布，(3)备份读取模块，其从多节点计算集群中的数据节点读取当前文件的初始备份数据块，并从多节点计算集群中的数据节点读取当前文件的后续备份数据块，以及(4)另一备份读取模块，其从另一数据节点读取附加文件的初始备份数据块的副本，并通过从多节点计算集群中的另一数据节点读取附加文件的后续备份数据块的副本来平衡当前文件和附加文件在数据节点和另一数据节点之间的备份。此外，该系统可包括执行接收模块、识别模块、备份读取模块和另一备份读取模块的至少一个物理处理器。

在一些示例中，上述方法可被编码为非暂态计算机可读介质上的计算机可读指令。例如，计算机可读介质可包括一个或多个计算机可执行指令，所述一个或多个计算机可执行指令在由计算设备的至少一个处理器执行时可使得计算设备：(1)接收对备份多节点计算集群中的文件的请求，(2)识别文件在多个备份客户端之间的备份分布，(3)从集群中的数据节点读取当前文件的初始数据块，(4)从集群中的另一数据节点读取附加文件的初始数据块的副本，(5)从集群中的数据节点读取当前文件的后续数据块，以及(6)通过从多节点计算集群中的另一数据节点读取附加数据文件的后续备份数据块的副本来平衡当前文件和附加文件在数据节点和另一数据节点之间的备份。

来自任意上述实施方案的特征可根据本文所述的一般原理彼此结合使用。在结合附图和权利要求书阅读以下详细描述后，将更全面地理解这些以及其他实施方案、特征和优点。