[发明专利]数据并行处理方法、系统及负载均衡调度器

说明书

技术领域

本发明涉及数据处理技术领域，更具体地说，涉及数据并行处理方法、系统及负载均衡调度器。

背景技术

在分布式计算环境下，例如，由Google提出的MapReduce（以下简称MR）并行计算编程模型中，作业所需处理的数据已经被划分为多个数据块，并以数据块为单位存储在一个或多个服务器节点上。客户提交作业后，该作业将被划分成与数据块一一对应的任务，这些任务将被分配到不同的服务器节点上并行执行。如果执行任务的服务器节点上未存储该任务对应的数据块，则需要通过网络数据传输，将数据块从存储它的服务器节点传输至该执行任务的服务器节点。因此，如何减少服务器节点之间的网络数据传输开销，提升数据处理的性能，成为目前研究的热门。

发明内容

有鉴于此，本发明实施例的目的在于提供数据并行处理方法、系统及负载均衡调度器，以解决上述问题。

为实现上述目的，本发明实施例提供如下技术方案：

一种数据并行处理方法，基于服务器集群，所述服务器集群中的任一服务器具有执行任务和存储数据的能力；

所述方法包括：

将用户通过客户端提交的作业放入作业等待队列，并收集所述作业的数据分布信息；所述作业所需处理的数据被划分为多个数据块，并分别存储于所述服务器集群中的服务器上，每一所述数据块对应一个数据处理任务，所述数据分布信息包括所述作业对应的数据块的分布信息；

当所述服务器集群正在执行的作业数小于第一阈值时，根据所述数据分布信息，预测在不同执行顺序下按照计算本地化策略分配所述作业等待队列中的作业所导致的系统总体负载均衡状态，获取最优执行顺序；

对所述作业等待队列中的作业按所述最优执行顺序进行重新排序，并按照重新排序后的顺序依次调度作业等待队列中的作业进入执行状态，直至所述服务器集群正在执行的作业数达到第一阈值或者等待作业队列为空；

按照计算本地化策略分配每一进入执行状态的作业，以便服务器执行数据处理任务；

所述按照计算本地化策略分配包括：

针对作业所需处理的数据的每一个数据块创建一个数据处理任务，并将每一数据处理任务分配至存储其对应的数据块的服务器上。

一种数据并行处理系统，包括服务器集群和负载均衡调度器；

所述服务器集群中的任一服务器具有执行任务和存储数据的能力；

所述负载均衡调度器包括：

预处理单元，用于将用户通过客户端提交的作业放入作业等待队列，并收集所述作业的数据分布信息；所述作业所需处理的数据被划分为多个数据块，并分别存储于所述服务器集群中的服务器上，每一所述数据块对应一个数据处理任务，所述数据分布信息包括所述作业对应的数据块的分布信息；

预测单元，用于当所述服务器集群正在执行的作业数小于第一阈值时，根据所述数据分布信息，预测在不同执行顺序下按照计算本地化策略分配所述作业等待队列中的作业所导致的系统总体负载均衡状态，获取最优执行顺序；

作业调度单元，用于对所述作业等待队列中的作业按所述最优执行顺序进行重新排序，并按照重新排序后的顺序依次调度重新排序后的作业等待队列中的作业进入执行状态，直至所述服务器集群正在执行的作业数达到第一阈值或者等待作业队列为空；

第一任务调度单元，用于按照计算本地化策略分配每一进入执行状态的作业，以便服务器执行数据处理任务；

所述按照计算本地化策略分配包括：

针对作业所需处理的数据的每一个数据块创建一个数据处理任务，并将每一数据处理任务分配至存储其对应的数据块的服务器上。

一种负载均衡调度器，与服务器集群相配合，所述服务器集群中的任一服务器具有执行任务和存储数据的能力；所述负载均衡调度器包括：

预处理单元，用于将用户通过客户端提交的作业放入作业等待队列，并收集所述作业的数据分布信息；所述作业所需处理的数据被划分为多个数据块，并分别存储于所述服务器集群中的服务器上，每一所述数据块对应一个数据处理任务，所述数据分布信息包括所述作业对应的数据块的分布信息；

预测单元，用于当所述服务器集群正在执行的作业数小于第一阈值时，根据所述数据分布信息，预测在不同执行顺序下按照计算本地化策略分配所述作业等待队列中的作业所导致的系统总体负载均衡状态，获取最优执行顺序；

作业调度单元，用于对所述作业等待队列中的作业按所述最优执行顺序进行重新排序，并按照重新排序后的顺序依次调度重新排序后的作业等待队列中的作业进入执行状态，直至所述服务器集群正在执行的作业数达到第一阈值或者等待作业队列为空；