[发明专利]大数据环境下大规模事务型作业调度与处理通用系统

权利要求书

1.大数据环境下大规模事务型作业调度与处理通用系统，其特征在于：包括一个作业适配器、一个作业调度中心和多个作业处理引擎；

作业适配器通过统一的事务型作业接口，接收来自上层业务应用系统的作业，并将接收的作业转发给作业调度中心，将来自作业调度中心的作业执行结果反馈给上层业务应用系统；所述事务型作业接口定义了所接收作业的模板，该模板包括作业类型、作业对应的执行控制点以及请求使用资源的许可级别，每个执行控制点对应一类资源；所述作业类型按照作业的即时性要求程度、执行时间长短、是否易耗内存、I/O访问是否频繁进行划分；所述请求使用资源的许可级别为共享或独占；

作业调度中心接收并存储来自作业适配器的作业，根据该作业对应的执行控制点以及请求使用资源的许可级别，确定作业的调度顺序；查询作业处理引擎的运行状态，计算每个正常运行的作业处理引擎响应评分，按调度顺序将作业推送给评分最高的作业处理引擎；接收作业处理引擎反馈的作业执行情况和作业执行结果，当作业执行完成时，将作业移除，并将作业执行结果反馈给作业适配器；当作业执行异常时，上报人工处理；

所述作业调度中心包括作业计划图和作业调度器；

作业计划图是由各个执行控制点组成的一个动态有向无环图，每个执行控制点由许可区和排队区两部分组成，进入作业调度中心的作业首先进入所声明执行控制点的排队区等待，执行控制点按照作业请求使用资源的许可级别决定排队区的作业能否进入许可区，作业计划图将进入许可区的作业发送给作业调度器进行调度；接收作业处理引擎反馈的作业执行情况和作业执行结果，当作业执行完成时，将作业移除，并将作业执行结果反馈给作业适配器；当作业执行异常时，上报人工处理；

作业调度器每接收到一个作业，首先查询作业处理引擎的运行状态，计算每个正常运行的作业处理引擎响应评分，将接收到的作业推送给评分最高的作业处理引擎；

所述作业调度器利用如下公式计算第n个正常运行的作业处理引擎响应评分S_n：

式中F_n表示第n个作业处理引擎上空闲作业执行器个数；T_n表示该引擎上作业执行器总数；Q_n表示该引擎上作业执行队列中等待执行作业个数；Cpu_n表示该引擎剩余可用CPU余量；Mem_n表示该引擎剩余可分配内存大小；A_n表示该引擎的类型；A_task表示当前作业类型；符号⊙表示同或运算，当作业类型与引擎类型相同时，该运算结果为1，即提高引擎响应评分，反之该运算结果为0；k₁、k₂、k₃、k₄、k₅的取值保证k₃Cpu_n、k₄Mem_n、k₅A_n⊙A_task的值均在0-1之间；引擎类型根据引擎所拥有资源特点和实际用途划分，包括用于处理实时性要求高的作业、用于处理I/O操作频繁的作业、用于处理长时间的作业、用于处理计算复杂度高的作业、用于处理内存消耗大的作业；

每个作业处理引擎拥有多个作业执行器，作业处理引擎接收作业调度中心发送的作业，将其分配给空闲的作业执行器进行处理；同时作业处理引擎监控各作业执行器的执行状态，当发现处理异常时，终止该作业执行器的执行，将作业重新分配给其他的空闲作业执行器进行处理；作业执行结束后，作业处理引擎从作业执行器采集作业的执行情况和作业执行结果，并反馈给作业调度中心。

2.根据权利要求1所述大数据环境下大规模事务型作业调度与处理通用系统，其特征在于：所述每个作业处理引擎周期性地向作业调度中心发送心跳信息，若作业调度中心未收到某作业处理引擎的心跳信息，则说明该作业处理引擎出现故障，作业调度中心将该作业处理引擎上所有未处理的作业回收，重新进行调度。

3.根据权利要求1所述大数据环境下大规模事务型作业调度与处理通用系统，其特征在于：所述事务型作业接口的作业模板还定义了作业的划分方式，上层业务应用系统根据所述作业的划分方式将每个作业划分为多个Action操作，并为每个Action操作定义了事务开始位置、结束位置和回滚方式，其中每个Action操作为不可再分的原子操作。

4.根据权利要求3所述大数据环境下大规模事务型作业调度与处理通用系统，其特征在于：每个作业执行器工作过程如下：

(6.1)以Action操作为最小处理单元执行接收到的作业；

(6.2)判断是否出现某一Action操作执行失败，若有进入步骤(6.4)，否则进入(6.3)；

(6.3)判断作业中的所有Action操作是否全部执行完成，若是，则向作业处理引擎反馈作业执行完成信息；否则，继续执行未执行的Action操作，返回步骤(6.2)；

(6.4)根据定义的回滚方式回滚该Action操作并进行重新执行，若执行成功，进入步骤(6.3)；否则，继续重新执行回滚后的Action操作，当重新执行次数达到预设上限时，终止该作业执行，并向作业处理引擎上报作业执行异常信息。