[发明专利]一种基于队列的分布式任务调度方法、装置及系统

说明书

技术领域

本发明涉及数据传输技术领域，尤其涉及一种基于队列的分布式任务调度方法、装置及系统。

背景技术

近年来，随着计算机信息技术日益成熟，互联网所依赖的任务机(服务器)规模也越来越庞大。并且随着用户业务的不断扩展，用户的任务往往需要采用分布式网络存储系统。因此如何对这些跨机器应用的分布式任务进行管理、维护及调度，就成为一个亟待解决的问题。

传统的分布式任务调度方法包括：将任务的数据存储到数据库中；针对所述数据库中所存储的每个任务，根据任务完成时间预测模型，来预测在处理节点集合中的每个处理节点上执行该任务所需的完成时间，并将该任务分配给预测出的完成时间最短的处理节点。

上述的分布式任务调度方法中，任务直接由数据库分配到执行节点，执行节点与数据库交互频繁并且不能保证任务调度的顺序，，从而导致任务调度的准确性较低。

发明内容

本发明的目的是提出一种基于队列方式的分布式任务调度方法、装置及系统，以降低任务的执行节点与数据库的交互次数。为达此目的，本发明采用以下技术方案：

一种基于队列方式的分布式任务调度方法，包括：

从数据库中采集待调度的分布式任务的数据；

将采集的所述待调度的分布式任务的数据存储到队列中；

根据所述队列中所述待调度的分布式任务的数据，分配执行所述待调度的分布式任务的节点，所述节点为分布式节点；

通过面向服务架构技术将所述待调度的分布式任务发送到分配的所述节点。

一种基于队列方式的分布式任务调度装置，所述装置包括：

采集模块，用于从数据库中采集待调度的分布式任务的数据；

缓存模块，用于将采集的所述待调度的分布式任务的数据存储到队列中；

分配模块，用于根据所述队列中所述待调度的分布式任务的数据，分配执行所述待调度的分布式任务的节点，所述节点为分布式节点；

接口模块，用于通过面向服务架构技术将所述待调度的分布式任务发送到分配的所述节点。

一种基于队列方式的分布式任务调度系统，包括数据库服务器、队列服务器、多个节点设备和本发明任意实施例提供的分布式任务调度装置，其中，

所述分布式任务调度装置用于从数据库服务器中采集所述待调度的分布式任务的数据，并将所述待调度的分布式任务的数据存储到所述队列服务器的队列中，还用于从所述队列中获取所述待调度的分布式任务的数据，根据所述待调度的分布式任务的数据，从所述多个节点设备中为所述待调度的分布式任务分配执行节点，并通过面向服务架构技术将所述待调度的分布式任务发送到所述执行节点，所述执行节点为分布式节点。

上述技术方案给出的一种基于队列方式的分布式任务调度方法、装置及系统，通过将数据库中的任务的数据缓存到队列中，并在调度过程中通过访问队列中缓存的任务的数据，减少了访问数据库的次数，增加了任务调度的灵活性。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，并不构成对本发明的限定。在附图中：

图1是本发明第一实施例中提供的基于队列方式的分布式任务调度方法的实现流程图。

图2是本发明第二实施例中提供的基于队列方式的分布式任务调度方法的实现流程图。

图3是本发明第二实施例中提供的基于队列方式的分布式任务调度方法的逻辑分支流程图。

图4是本发明第二实施例中提供的基于队列方式的分布式任务调度方法的结构示意图。

图5是本发明第三实施例中提供的基于队列方式的分布式任务调度装置的结构示意图。

图6是本发明第四实施例中提供的基于队列方式的分布式任务调度系统的结构示意图。

具体实施方式

下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

图1是本发明第一实施例中提供的基于队列方式的分布式任务调度方法的实现流程图，该实现流程包括：

步骤101、从数据库中采集待调度的分布式任务的数据。