[发明专利]大数据环境下大规模事务型作业调度与处理通用系统

摘要

大数据环境下大规模事务型作业调度与处理通用平台，包括作业适配器、作业调度中心和多个作业处理引擎。作业适配器通过统一的事务型作业接口接收来自上层业务应用系统的作业，转发给作业调度中心，将来自作业调度中心的作业执行结果反馈给上层业务应用系统。作业调度中心计算每个作业处理引擎响应评分，按调度顺序将作业推送给评分最高的作业处理引擎，根据作业执行情况对作业进行移除或上报，将作业处理结果反馈给作业适配器。每个作业处理引擎对作业进行处理，将作业执行情况和作业执行结果反馈给作业调度中心。本发明通过事务型作业接口减轻了上层应用系统开发工作，满足业务逻辑动态变更需求，实现了大规模事务型作业高效可靠地并行处理。

主权项

1.大数据环境下大规模事务型作业调度与处理通用系统，其特征在于：包括一个作业适配器、一个作业调度中心和多个作业处理引擎；作业适配器通过统一的事务型作业接口，接收来自上层业务应用系统的作业，并将接收的作业转发给作业调度中心，将来自作业调度中心的作业执行结果反馈给上层业务应用系统；所述事务型作业接口定义了所接收作业的模板，该模板包括作业类型、作业对应的执行控制点以及请求使用资源的许可级别，每个执行控制点对应一类资源；所述作业类型按照作业的即时性要求程度、执行时间长短、是否易耗内存、I/O访问是否频繁进行划分；所述请求使用资源的许可级别为共享或独占；作业调度中心接收并存储来自作业适配器的作业，根据该作业对应的执行控制点以及请求使用资源的许可级别，确定作业的调度顺序；查询作业处理引擎的运行状态，计算每个正常运行的作业处理引擎响应评分，按调度顺序将作业推送给评分最高的作业处理引擎；接收作业处理引擎反馈的作业执行情况和作业执行结果，当作业执行完成时，将作业移除，并将作业执行结果反馈给作业适配器；当作业执行异常时，上报人工处理；所述作业调度中心包括作业计划图和作业调度器；作业计划图是由各个执行控制点组成的一个动态有向无环图，每个执行控制点由许可区和排队区两部分组成，进入作业调度中心的作业首先进入所声明执行控制点的排队区等待，执行控制点按照作业请求使用资源的许可级别决定排队区的作业能否进入许可区，作业计划图将进入许可区的作业发送给作业调度器进行调度；接收作业处理引擎反馈的作业执行情况和作业执行结果，当作业执行完成时，将作业移除，并将作业执行结果反馈给作业适配器；当作业执行异常时，上报人工处理；作业调度器每接收到一个作业，首先查询作业处理引擎的运行状态，计算每个正常运行的作业处理引擎响应评分，将接收到的作业推送给评分最高的作业处理引擎；所述作业调度器利用如下公式计算第n个正常运行的作业处理引擎响应评分Sn：式中F_n表示第n个作业处理引擎上空闲作业执行器个数；T_n表示该引擎上作业执行器总数；Q_n表示该引擎上作业执行队列中等待执行作业个数；Cpu_n表示该引擎剩余可用CPU余量；Mem_n表示该引擎剩余可分配内存大小；A_n表示该引擎的类型；A_task表示当前作业类型；符号⊙表示同或运算，当作业类型与引擎类型相同时，该运算结果为1，即提高引擎响应评分，反之该运算结果为0；k₁、k₂、k₃、k₄、k₅的取值保证k₃Cpu_n、k₄Mem_n、k₅A_n⊙A_task的值均在0‑1之间；引擎类型根据引擎所拥有资源特点和实际用途划分，包括用于处理实时性要求高的作业、用于处理I/O操作频繁的作业、用于处理长时间的作业、用于处理计算复杂度高的作业、用于处理内存消耗大的作业；每个作业处理引擎拥有多个作业执行器，作业处理引擎接收作业调度中心发送的作业，将其分配给空闲的作业执行器进行处理；同时作业处理引擎监控各作业执行器的执行状态，当发现处理异常时，终止该作业执行器的执行，将作业重新分配给其他的空闲作业执行器进行处理；作业执行结束后，作业处理引擎从作业执行器采集作业的执行情况和作业执行结果，并反馈给作业调度中心。