[发明专利]一种批量任务调度分配方法及系统

说明书

技术领域

本发明涉及批量任务的数据处理，特别是涉及一种批量任务调度分配方法 及系统。

背景技术

应用系统中，为了满足业务应用需求，经常需要并发处理批量任务。但随 着系统复杂度和任务数据量的增加，处理任务所需要的时间也越来也长，导致 单台任务处理服务器不能满足需要。

针对这种情况，常用的解决方案是升级所述任务处理服务器，通过提升服 务器的性能来加快处理速度。在批量任务对处理时间要求不高的情况下，这种 方式能改善系统的处理效率；但如果对处理时间要求很高，或者处理的数据量 非常大的情况下，仅仅通过提升服务器性能已无法达到处理要求。

还有一种方案是增加任务处理服务器，通过手工分配或者系统配置，将批 量任务分配到各个处理服务器进行处理。这种方法解决了上述第一种方案的问 题，当依靠提升单台服务器性能无法满足处理需要时，可以配备多台任务处理 服务器来分担单台服务器的处理任务，从而在处理能力和处理时间上满足业务 应用需求。

但是，无论是手工分配还是通过系统配置来分配任务，当应用做变动或任 务数据量做重大变动时，都需要重新分配任务，这样就需要花费大量的时间和 精力来进行配置调整，从而无法及时处理批量任务。而且，由于每台服务器的 处理性能存在差异，导致分配任务时无法做到精确分配而不能充分利用每台处 理服务器的资源，这样将增加任务处理的软硬件成本。

发明内容

本发明所要解决的技术问题是提供一种批量任务调度分配方法及系统，以 解决在大量并发处理批量任务的过程中，增加多台服务器处理不能灵活适应任 务处理变动、无法及时处理批量任务的问题。

为解决上述技术问题，根据本发明提供的具体实施例，本发明公开了以下 技术方案：

一种批量任务调度分配方法，包括：

配置任务分配服务器和多台任务处理服务器；

分配服务器建立分配列表，动态管理各处理服务器上的闲置任务数；

分配服务器定时检查是否有待处理的任务，若有，则继续检查分配列表中 各处理服务器的闲置任务数；若存在闲置的处理服务器，则将待处理任务分配 给闲置的处理服务器。

优选的，所述方法还包括：分配服务器根据预设的任务分割单元，将批量 任务分割成子任务，放入任务队列等待处理。

优选的，所述分配服务器根据各处理服务器上闲置任务数的多少来分散分 配任务，包括：将处理服务器的闲置任务数按照从大到小排序；对应所述排列 顺序，依次为每台处理服务器分配从大到小个数不等的任务。

优选的，按照以下步骤动态管理各处理服务器上的闲置任务数：处理服务 器启动时向分配服务器发送闲置任务数，分配列表中记录所述闲置任务数；分 配服务器将待处理任务分配给闲置的处理服务器后，调整分配列表中的闲置任 务数；处理服务器执行完任务后向分配服务器返回闲置任务数，调整分配列表 中的闲置任务数。

所述方法还包括：根据批量任务的执行情况，确定增加或减少处理服务器。

一种批量任务调度分配系统，包括：任务分配服务器和多台任务处理服务 器，其中，

所述分配服务器用于建立分配列表，动态管理各处理服务器上的闲置任务 数；定时检查是否有待处理的任务，若有，则继续检查分配列表中各处理服务 器的闲置任务数；若存在闲置的处理服务器，则将待处理任务分配给闲置的处 理服务器；

所述处理服务器用于并行处理批量任务。

优选的，所述分配服务器根据预设的任务分割单元，将批量任务分割成子 任务，放入任务队列等待处理。

优选的，所述分配服务器根据各处理服务器上闲置任务数的多少来分散分 配任务，将处理服务器的闲置任务数按照从大到小排序，然后对应所述排列顺 序，依次为每台处理服务器分配从大到小个数不等的待处理任务。

优选的，所述处理服务器在启动时和执行完任务后，都向分配服务器发送 闲置任务数；所述分配服务器记录在分配列表中，并在待处理任务分配给闲置 的处理服务器后，调整分配列表中的记录。

其中，所述分配服务器和处理服务器之间通过TCP/IP进行通信。

根据本发明提供的具体实施例，本发明公开了以下技术效果：