[发明专利]一种分布式资源调度系统及其方法

说明书

技术领域

本发明涉及资源调度技术，特别涉及一种分布式资源调度系统及其方法。

背景技术

现有的分布式计算(网格计算)技术有一些成熟的软件和产品，其中代表的有：

1、BOINC

BOINC是一个分布式计算平台，由美国加利福尼亚大学伯克利分校(University of California-Berkeley)于2003年开发，使得各种分布式计算项目能够使用一个平台软件来运行。

但是BOINC有几个困难的地方：

A、其服务器和任务的配置是全手工，而且非常复杂；

B、只能处理需要少量数据交互的运算；

C、要使用BOINC的提供开发包编程，支持的程序接口有限。

2、Globus

Globus由全球网格论坛(GGF)下属Globus项目组成员联合开发的GlobusToolkit标准工具包，可以建立网格系统和开发网格软件。

但是Globus也有几个困难的地方：

A、开发Globus程序，必须非常熟悉其API函数，并使用专用平台；

B、程序出错会影响全局，当计算节点死机时无法被控制；

C、当计算节点增多时，节点之间通信耗费资源太大，甚至抵消了计算能力的增长；

同时，以上这些分布式计算平台都有一些限制：

A、开发的分布式程序都是基于特定开发平台，非通用程序；

B、所有的环境构建和框架都是针对特定开发环境，非通用框架。

发明内容

本发明的目的在于提供一种分布式资源调度系统及其方法。

本发明解决其技术问题所采用的技术方案是：一种分布式资源调度方法，包括如下步骤：

(a)，服务节点将需要处理的任务打包生成格式统一的任务包，并将所述任务包发送至调度服务器；

(b)，所述调度服务器接收并管理所述服务节点发来的任务包，以预设规则将其分配至计算节点；

(c)，所述计算节点接收所述调度服务器发来的任务包，并对所述任务包进行处理，将处理的结果包发送至所述调度服务器。

本发明中，所述步骤(a)还包括：

(a1)，将需要处理的任务放置在预设目录下，并对该目录进行扫描，向所述调度服务器查询每个任务包的状态；

(a2)，根据返回的查询状态，作相应的处理，具体包括：任务正在计算中，不作处理；任务已经完成，则将相应的任务包移入相应的目录下并进行后续操作；任务错误，则选择重发该任务包或取消该任务包。

本发明中，所述步骤(a)还包括：

(a3)，扫描预设目录下的每个任务包时，每隔预设时间将其发送至所述调度服务器，发送完毕后，休眠预设时间。

本发明中，所述步骤(b)还包括：

(b1)，接收并登记所述服务节点发来的任务包，向所述服务节点提供任务包的状态查询；

(b2)，所述调度服务器以优先级为0～9的预设规则将任务包发送至计算节点。

本发明中，所述步骤(b)还包括：

(b3)，所述调度服务器响应所述服务节点的查询，如果发现该查询的任务包已经完成，则向所述服务节点返回结果包。

本发明中，所述步骤(c)还包括：

(c1)，计算节点向调度服务器提交本机所支持的运行环境，并从所述调度服务器中获取所述任务包列表；

(c2)，所述调度服务器从所述任务包列表中选择其中一个任务包，并将该任务包的连接地址返回给所述计算节点，同时记录该任务包的信息并封锁该任务包生存次数自减；

(c3)，所述计算节点根据所述任务包的连接地址下载任务包，解包，并运行主程序中指定的可执行程序进行处理。

本发明中，执行所述步骤(c3)之后还包括：

(c31)，所述调度服务器根据所述计算节点返回的结果处理任务包，并登记处理结束的时间，修改任务包状态，并将已处理的任务包移入已完成列表。

本发明还同时公开了一种分布式资源调度系统，包括服务节点、调度服务器以及多个计算节点，

服务节点，用于将需要处理的任务打包成格式统一的任务包，并将所述任务包发送至所述调度服务器和接收所述调度服务器返回的结果包；

调度服务器，用于接收并管理所述调度服务器发来的任务包，并以预设规则将其分配至所述计算节点，同时将所述计算节点返回的结果包返回至所述服务节点；

计算节点，接收所述调度服务器分配的任务包，并对所述任务包进行处理，并将处理的结果包返回至所述调度服务器。