[发明专利]一种基于分布式架构及容器化批量调度系统和方法

说明书

本发明提出了一种基于分布式架构及容器化批量调度系统和方法，该系统包括容器管理平台、调度平台、镜像池和资源池，所述镜像池包括多个由业务子系统打包生成的批量镜像，所述资源池包括多个基于批量镜像创建的批量容器；所述容器管理平台用于根据任务执行指令生成相应的批量容器，并根据批量任务执行状态进行批量容器销毁操作；所述调度平台用于配置业务系统的批量任务信息，制定批量任务与批量镜像和执行系统之间映射关系，向容器管理平台发送任务执行指令，及跟踪批量任务执行状态并反馈至容器管理平台。本发明能够实现企业级批量任务的调度控制、实现资源的集中应用，解决了批量时间集中、批量执行过程中服务器资源使用过高用的问题。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种基于分布式架构及容器化批量调度系统和方法。

背景技术

随着金融业务的快速发展，银行系统正遭受互联网金融的不断冲击，在此环境下要求银行系统及业务发展能够实现快速的推进，对银行的系统传统架构需要进行提升，重新定位银行的IT架构及应用系统软件架构，打造可高效运行、长期可用不间断服务、可专业化经营的新一代业务系统。因此在银行系统建设上需要实现架构的突破，采用更加便于资源横向扩展、系统高性能、系统高内聚低耦合、业务产品化的系统架构方式来解决新时代下银行核心系统所面临的问题。

通过全新的应用架构和和IT架构来实现银行业务的快速开发、系统的高性能、高稳定性。业务系统的批量处理要求时间更短，效率更高。跨业务系统之间的批量处理要求做到无缝衔接、同步执行、交叉执行等，业务系统批量也从传统的一日一批、日终处理等演进到日间高频率多批次执行。在架构上更呈现出批量执行有集中到分散的特点，借助分布式架构的实施推广，系统由传统单机高配置到多机低配置并行计算发展，批量的处理也从传统集中处理到数据分片拆分执行最终合并结果，从而提高了批量处理效率，将更多的单任务关键路径耗时过长的问题优化为单任务关键路径分片并行处理，大大压缩批量处理时间。

然而，在实际过程中批量调度与容器的结合运行存在诸多问题，如调度系统无法监控容器中任务状态，无法根据容器的任务专题灵活控制批量实例的存活周期、复调等。

发明内容

鉴于上述问题，本发明提供了一种基于分布式架构及容器化批量调度系统和方法，实现了调度平台与容器管理平台和容器执行实例有效衔接，解决了容器执行实例拉起后状态调度状态不可控的问题。

为解决上述技术问题，本发明采用的技术方案是：一种基于分布式架构及容器化批量调度系统，包括容器管理平台、调度平台、镜像池和资源池，所述镜像池包括多个由业务子系统打包生成的批量镜像，所述资源池包括多个基于批量镜像创建的批量容器；所述容器管理平台用于根据任务执行指令生成相应的批量容器，并根据批量任务执行状态进行批量容器销毁操作；所述调度平台用于配置业务系统的批量任务信息，制定批量任务与批量镜像和执行系统之间映射关系，向容器管理平台发送任务执行指令，及跟踪批量任务执行状态并反馈至容器管理平台。

作为优选方案，所述调度平台包括实例管理中心、分配控制器、指令生成器、状态收集器和生命周期管理器；所述实例管理中心用于生成任务实例，设置任务实例状态、任务超时时间和任务并行状态；所述分配控制器用于检查资源池负载，设置任务执行模板信息，将批量任务分配到任务实例；所述指令生成器用于生成任务执行指令，所述任务执行指令包括批量镜像拉取信息和批量容器信息。所述状态收集器用于接收经批量子应用执行的任务执行状态，所述批量子应用由批量容器拉起；所述生命周期管理器用于接收并检查批量镜像下批量任务的执行状态，将检查结果发送至实例管理中心。

作为优选方案，所述制定批量任务与批量镜像和执行系统之间映射关系，包括：将可用于部署的批量镜像ID与调度平台的执行系统ID和批量任务ID进行绑定。