[发明专利]一种数据分析任务的分配方法

说明书

本发明涉及一种数据分析任务的分配方法，该方法由分配服务器接收任务分配请求，并获取每台任务服务器的当前任务强度值，将待分配任务分配给当前任务强度值最小的任务服务器。该方法实现任务服务器的负载均衡，在大量任务并发的情况下，相对于现有技术具有更高的任务执行效率。

技术领域

本发明属于计算机领域，尤其涉及一种数据分析任务的调度方法。

背景技术

数据分析任务指的是计算机对一些领域数据进行既定的计算和分析任务，尤其现在随着大数据应用的越来越广泛，需要对海量的数据执行既定的不同目的的多种分析任务，得到需要的分析结果。

对于海量数据的分析，由于数据量大，需要执行的数据分析任务也有许多种，现有技术中通常使用数据服务器存储数据(这里的数据服务器可以是单个服务器，或者是一个服务器集群，本发明对此不作区分)，然后使用多个任务服务器分别执行不同的数据分析任务，每个数据分析任务分别从数据服务器读取需要的数据，然后进行计算。不同的数据分析任务的计算量不同，不同任务服务器的性能和负荷也不同，因此需要根据实时情况将数据分析任务分配给不同的任务服务器。

发明内容

为了解决现有技术中的上述问题，本发明提供了一种数据分析任务的调度方法。

本发明采用的技术方案具体如下：

一种数据分析任务的分配方法，包括以下步骤：

步骤100：分配服务器接收数据分析任务的任务分配请求，所述任务分配请求中包括待分配任务的存储地址、任务强度和分析对象；其中，所述任务强度是该待分配任务在标准服务器上运行并分析预定数据量所需要的时间，所述分析对象是该待分配任务需要分析的数据记录类型；

步骤200：所述分配服务器获取每台任务服务器的当前任务强度值；其中，一台任务服务器的当前任务强度值指的是该任务服务器上当前执行的所有数据分析任务的剩余执行时间之和；

步骤300：所述分配服务器将待分配任务分配给当前任务强度值最小的任务服务器。

进一步地，所述步骤200中，任务服务器的当前任务强度值的具体计算方法包括：

步骤210：任务服务器在运行每个任务之前，计算该任务的预计执行总时间；设数据分析任务Task_i的任务强度为K_i，该任务服务器的性能值为P，Task_i需要分析的数据量为D_i，标准服务器的标准性能值为P₀，所述预定数据量为D₀，则该任务服务器计算Task_i的预计执行总时间T_i为：

步骤220：任务服务器统计当前运行的每个任务的已执行时间；

步骤230：任务服务器计算每个任务的剩余执行时间，所述任务的剩余执行时间等于任务的预计执行总时间减去任务的已执行时间；任务服务器的当前任务强度值为该任务服务器上当前执行的所有任务的剩余执行时间之和。

进一步地，所述标准服务器是一台具有预设的固定配置的服务器，所述固定配置包括硬件配置和软件配置。

进一步地，所述数据量是数据库中相应记录的数量。

进一步地，使用预定的benchmark程序来确定和量化标准服务器和任务服务器的性能值。

进一步地，所述待分配任务是外部发起的，需要分配服务器进行分配的新的数据分析任务。

进一步地，所述待分配任务是已经存储于分配服务器的数据分析任务。

进一步地，所述待分配任务是定期执行的数据分析任务。