[发明专利]一种多任务管理系统及其分布式部署方法

说明书

技术领域

本发明涉及计算机技术领域，具体涉及一种多任务管理系统及其分布式部署方法。

背景技术

在当前的互联网与企业信息化应用中，经常会遇到大量任务的处理，这些任务的特性是数量大，在资源有限的情况下需要长时间运行这些作业，而且这些任务的时效性要求不高。处理这些类似的任务，一般都会用到多线程执行、多pc执行以实现水平扩展，也可以分布式执行，实现垂直扩展。多线程执行的方式一般都会使用到线程池，如果任务需要定时处理，还可以引入一些任务调度的功能。如果是分布式执行，则可以用些成熟的框架或者方法，如hadoop，mapreduce。 有些这些任务量大，则需要对这些任务的管理、监控，甚至人工干预。

当前很多多任务处理机制都没有考虑多层级的任务处理机制，另外任务的分派相对不灵活，任务的优先级别只绑定到任务，没有绑定到线程。对执行时间较短，任务量较多的情况，性能较差。

申请号为CN201310655730.0的“单线程任务的多线程执行方法及系统”与CN201010517150.1的“一种通过线程管理提高多任务处理效率的方法”中提到把一个单一的任务拆分成多个任务，以提高效率，但是对规模量较大的任务，几十万的任务情况下，如何提高任务的执行效率，以及如何按照用户的需要对任务进行优先级管理；申请号为CN201310189250.X的“基于多任务系统的分布式系统和方法”中提到多任务的分布式处理方式，并解决并发处理任务时资源竞争的问题，但是在任务的优先级配置方面所有不足。

发明内容

为此，本案提出一种多任务管理系统及其分布式部署方法，以对任务灵活的配置及执行。

具体方案如下：

一种多任务管理系统，包括：

任务库，被配置成存储任务；

任务策略管理器，被配置成根据任务的执行线程数，确定任务执行策略；

任务派发器，被配置成根据任务策略管理器所确定的任务执行策略与任务队列的任务情况从任务库读取任务，并派发到相应的任务队列中；

任务队列管理器，被配置成生成任务队列以及销毁任务队列；

任务队列，被配置成存放任务派发器派发的任务；

任务作业线管理器，被配置成生成任务作业线以及销毁任务作业线；

任务作业线，被配置成执行任务队列中的任务。

进一步的，还包括任务生成器，被配置成根据业务实体生成任务。

进一步的，所述的任务具有属性，属性包括但不限于任务类型、重复次数、任务执行时间、任务执行策略、任务队列、任务作业线、任务状态、执行情况、业务类型和业务id属性。

进一步的，所述的任务在没有相应的任务队列属性与任务作业线属性的属性设定时，通过队列管理器与任务作业线管理器初始化生成相应的任务队列与任务作业线。

进一步的，所述任务执行策略与执行线程的对应关系为一个任务执行策略对应一个或多个执行线程。

进一步的，所述执行线程、任务队列与任务作业线之间的关系为一个执行线程对应一个任务队列和一个任务作业线

进一步的，所述的任务队列管理器在某任务队列中没有存放任务时，销毁该任务队列。

进一步的，还包含监听器，监听器被配置为获取任务队列中的任务数，当任务数少于一定值时，监听器通知任务派发器，任务派发器派发新的任务至任务队列；当任务队列在获取到任务时，监听器通知任务作业线执行任务。

进一步的，：所述的任务作业线管理器在某任务作业线中没有执行任务时，销毁该任务作业线。

一种基于上述的多任务管理系统的分布式部署方法，包括：提供部署任务生成器及存储任务库的数据存储装置；在一主服务器端部署所述任务派发器、任务策略管理器、队列管理器以及任务作业线管理器；在另外的多个从属服务器端分别部署所述的任务队列以及任务作业线，数据存储装置与主服务器端建立通讯连接，主服务器端与多个从属服务器端分别建立通讯连接。

本发明有益效果：

1.支持多层级的任务，如父任务可以是定时的任务，子任务可以是业务处理任务，子子任务可以是http请求任务；

2.任务的执行方式支持api调用、http调用、soap调用；

3.由于任务数据量大，为了提高性能与并发量，引进任务队列功能，队列可以根据策略选择任务执行；

4.使用任务执行策略，并由任务执行策略确定任务所需线程；

5.分布式部署提高了多数据处理的效率。

附图说明

图1为本发明架构图；