[发明专利]一种数据的批量调度方法和系统

说明书

技术领域

本发明涉及数据处理技术领域，更具体地说，涉及一种数据处理的批量调度方法和系统。

背景技术

批量作业(或批量程序)一般是指放在后台运行并且不需要与用户进行交互的、大数据量的批处理程序。而批量调度就是将这一系列批量作业按预先定义好的执行顺序组织好，交给硬件资源去运行，并管理整个作业运行过程的总称。

在很多大中型企业，尤其是金融、电信等领域的信息系统当中，都存在大量的复杂的自动化批量处理业务需求。显著增多的多样性的任务已代替了早先的批量作业，并且作业的规模与复杂性仍在持续的上扬。面对企业信息化的飞速发展的需要，批量系统亟需在性能、开发框架统一化、运维监控等方面提供新的技术解决方案。

目前主要的批量系统较多的采用了大机模式，所有的批量作业部署在一台机器上，在调度上具备简单的先后顺序，如果要调整执行顺序，需要修改代码。部分批量系统为了提高效率，将数据库服务器、文件服务器与批量系统分离部署；也有的引入了多线程技术，即在单台计算能力突出的主机上(大型机)，通过同时开辟大量的线程，使顺序执行的作业并发执行，在主机的CPU、I/O能力允许的范围下，也可有效地提高批量运行效率。

对于传统的主机类批量系统，大都存在如下问题和缺点：

1.多数系统仍以主机模式运行为主，系统扩展性差。难以对时间成本、硬件成本进行灵活的控制，无法解决时间瓶颈与资源利用率低两个互相制约的问题；

2.缺少统一的基础框架，不同项目之间的批量系统独立构建，使本就复杂的批量系统基础设施建设出现了严重的重复劳动现象，同时项目间的批量作业几乎不具备互通性，需要设计开发新的功能模块来完成；

3.运维困难，单个运维人员只能胜任一个批量系统的运维工作，每新增一个系统，往往需要重新学习，时间和人力成本过高；

也有少数系统在自己的集群服务器中部署批量系统，这种处理方式仍然存在明显的缺陷：

当大机的资源不足以满足某一个或者众多批量系统的需求时，整个部署模型不具备扩展能力，只有花费大量的资金购买能力更强的物理设备，或者花费更多的人力将一部分批量作业转移到其他设备上，此种转移的做法在面对数据依赖度高的系统时也是无能为力；

在具体项目中即使自实现了集群模式的批量系统，该系统往往不具备框架性质的通用性，且开发成本很高。一旦有跨系统的作业需要交互，就要开发新的程序，规模稍大，就等于要新开发一个系统。这所带来的风险和成本，都是无法计量的。

发明内容

有鉴于此，本发明实施例提供一种数据处理的批量调度方法和系统，以提高数据处理批量运行的效率。

本发明实施例提供一种数据处理的批量调度方法，所述方法包括：

总控端获取待处理的批量任务数据，并生成相应的任务调度指令；

总控端将所述任务调度指令及相应任务数据发送至中间服务器，由所述中间服务器保存所有任务调度指令；

由应用集群中的各个应用端访问所述中间服务器，获取相应的任务调度指令，执行相应任务数据的处理。

优选的，所述方法还包括：

当所述应用端完成相应任务数据的处理之后，所述应用端继续访问所述中间服务器，获取其它任务调度指令，执行相应任务数据的处理。

向所述中间服务器反馈结果信息；

由所述中间服务器将所述结果信息上传至总控端，由总控端进行实时记录。

优选的，当所述应用端完成相应任务数据的处理之后，还包括：

向所述中间服务器反馈结果信息；

由所述中间服务器将所述结果信息上传至总控端，由总控端进行实时记录。

优选的，所述方法还包括：

由监控端发起任务监控请求，并将所述任务监控请求发送至所述中间服务器，由所述中间服务器将所述任务监控请求转发至所述主控端；

由所述主控端根据所述任务监控请求，控制所述中间服务器向所述监控端反馈相应的任务状态信息。

优选的，所述中间服务器为消息服务器、轮询数据库服务器或分发文件服务器中的任一种实现形式。

一种数据处理的批量调度系统，所述系统包括：总控端、中间服务器以及应用集群；其中，

所述总控端，用于获取待处理的批量任务数据，并生成相应的任务调度指令，将所述任务调度指令及相应任务数据发送至所述中间服务器；

所述中间服务器，用于保存所有任务调度指令；

所述应用集群，用于由应用集群中的各个应用端访问所述中间服务器，获取相应的任务调度指令，执行相应任务数据的处理。