[发明专利]一种分布式计算系统的任务分配方法

说明书

技术领域

本发明涉及数据处理领域，尤其涉及一种分布式计算系统的任务分配方法。

背景技术

随着信息技术的飞速发展，基于数据处理和数据分析的应用受到了广泛的欢迎和关注。大量信息源带来数据规模的爆发式增长，对海量数据进行复杂计算已经远远超过单台计算机的处理能力，由此推动了对分布式系统及其关键技术的研究。分布式计算中把需要进行复杂计算的海量数据切分成小块后，分交由多台计算机并行处理，并将局部计算结果整合得出最终结果。 因此，如何合理地对分布式计算系统的资源进行分配，使得分布式计算系统的资源的利10 用率最大化，同时减少处理任务的开销时间，成了亟待解决的问题。

发明内容

本发明所要解决的技术问题在于提供一种分布式计算系统的任务分配方法，能够合理地对分布式计算系统的资源进行分配。

为解决上述技术问题，本发明采用如下技术方案：

本发明提供了一种分布式计算系统的任务分配方法，该任务分配方法包括：

周期性采集所述分布式计算系统的节点的负载情况；

获取任务算子的资源需求情况；

确定蚁群算法的启发式信息，获取信息素；

基于启发式信息、信息素、资源需求情况和负载情况，利用所述蚁群算法，将任务算子分配到所述分布式计算系统的节点上。

优选的，基于启发式信息、信息素、资源需求情况和负载情况，利用所述蚁群算法，将任务算子分配到所述分布式计算系统的节点上之前，还包括：

基于各任务算子之间的关系绘制有向无环图。

优选的，基于启发式信息、信息素、资源需求情况和负载情况，利用所述蚁群算法，将任务算子分配到所述分布式计算系统的节点上包括：

基于所述有向无环图，依序获取任务算子；

针对所述获取到的任务算子，基于启发式信息、信息素、资源需求情况和负载情况，计算其与各节点的匹配程度；

将该任务算子分配到与其匹配程度最高的节点上。

优选的，基于所述有向无环图，依序获取任务算子包括：

获取任务禁忌表，所述任务禁忌表记载有已分配的任务算子；

根据所述任务禁忌表，获取未被分配的任务算子；

基于所述有向无环图和所述任务禁忌表，依序获取未被分配的任务算子。

优选的，基于所述有向无环图和所述任务禁忌表，依序获取未被分配的任务算子之前，还包括：

检测所述任务禁忌表中记载的任务算子的个数，判断是否仍然存在未被分配的任务算子；

若存在未被分配的任务算子，则基于所述有向无环图和所述任务禁忌表，依序获取未被分配的任务算子。

优选的，该任务分配方法还包括：

若不存在未被分配的任务算子，则试运行当前的分配结果，检测预设定时间之后的分布式计算系统的负载波动；

若所述负载波动在预设范围之内，维持当前的分配结果。

优选的，所述启发式信息为：, 表示任务算子Ti在节点nodej上的处理时间。

优选的，针对所述获取到的任务算子，基于启发式信息、资源需求情况和负载情况，计算其与各节点的匹配程度包括：

计算，其中，表示序号为k的蚂蚁将下一个任务T_i分配到node_j的概率，表示所有蚂蚁在一次循环中将任务算子T_i分配到节点node_j时产生的信息素，表示节点node_j对任务T_i的启发信息，表示信息素和启发信息的权重，表示可处理任务算子的所述分布式计算系统的节点的集合。

优选的，该任务分配方法还包括：

更新信息素，其中，为信息素挥发因子,，表示序号为k的蚂蚁在一次循环中将任务算子T_i分配到节点node_j时产生的信息素。信息素挥发因子，是一个常数。可以根据实际应用给出固定值，也可以制定规则动态调整。

优选的，资源需求情况包括中央处理器使用率、内存占用率和磁盘输入/输出的使用率；

资源利用情况包括中央处理器使用率、内存使用率和磁盘输入/输出的使用率。

本发明实施例公开了一种分布式计算系统的任务分配方法，通过采集节点负载情况、获取任务算子的资源需求情况，并确定蚁群算法的启发式信息和信息素，可从整体角度规划出蚁群活动的行为方向，周而复始，求出最优的任务分配方法，可将分布式计算系统的节点资源进行最大化地利用，同时减少处理任务的开销时间。