[发明专利]作业处理方法、系统以及存储介质

说明书

本公开提供了一种作业处理方法、系统以及存储介质，其中的方法包括：总控节点根据待处理作业启动至少一个计算节点，计算节点获取自身的计算能力信息和部署信息，根据计算能力信息和部署信息向总控节点申请作业；总控节点根据计算能力信息和部署信息，向各个计算节点分配需要处理的节点作业；计算节点对节点作业进行相应的业务处理。本公开的方法、装置以及存储介质，作业分配采用主动申请模式，可以解耦总控节点和计算节点，总控节点和计算节点都可多节点部署；对应作业的处理支持多种作业并发处理模式，可以支持应用分片、数据分库的分布式架构系统，解决了单点故障问题，保证了批量作业处理的高可用性，提高了批量作业处理性能。

技术领域

本发明涉及计算机技术领域，尤其涉及一种作业处理方法、系统以及存储介质。

背景技术

电子银行等业务需要业务系统进行支撑，业务系统需要处理批量作业，批量作业的条数一般有几百个或上千个。目前，业务系统采用集中式批量作业处理调度方法，在同节点部署作业总控服务和作业处理服务，由批量作业总控服务根据作业属性配置信息生成需处理的作业明细，分批次并发调度作业处理服务，由多个作业处理服务并发完成业务逻辑进行业务处理。现有的集中式批量作业处理调度方法存在缺陷，包括：作业总控服务、作业处理服务只能同节点集中部署，不能发挥集群所有节点计算能力；作业分配采用被动分配模式，不能充分发挥处理服务的计算能力；作业总控服务单进程、单节点部署，存在单节点故障等。因此，需要一种新的用于作业处理的技术方案。

发明内容

有鉴于此，本发明要解决的一个技术问题是提供一种作业处理方法、系统以及存储介质。

根据本公开的一个方面，提供一种作业处理方法，包括：总控节点根据待处理作业启动至少一个计算节点；其中，所述总控节点部署在一个或多个物理节点上；所述计算节点获取自身的计算能力信息和部署信息，根据所述计算能力信息和所述部署信息向所述总控节点申请作业；所述总控节点根据所述计算能力信息和所述部署信息，向各个所述计算节点分配需要处理的节点作业；所述计算节点对所述节点作业进行相应的业务处理。

可选地，所述总控节点根据待处理作业启动至少一个计算节点包括：所述总控节点启动申请启动服务，通过所述申请启动服务获取作业属性并根据所述作业属性生成所述待处理作业；通过所述申请启动服务根据所述待处理作业确定需要参与作业处理的多个所述计算节点并发送所述作业处理启动消息；其中，业务系统包括多个子系统，在每个子系统中部署一个或多个所述计算节点。

可选地，所述计算节点获取自身的计算能力信息和部署信息，根据所述计算能力信息和所述部署信息向所述总控节点申请作业包括：所述计算节点在接收所述作业处理启动消息后，启动作业申请服务；通过所述作业申请服务获取所述计算能力信息和所述部署信息；其中，所述部署信息包括：子系统信息、数据库信息和节点配置信息；通过所述作业申请服务生成携带有所述计算能力信息和所述部署信息的作业申请请求并发送给所述总控节点。

可选地，所述总控节点根据所述计算能力信息和所述部署信息，向各个所述计算节点分配需要处理的节点作业包括：所述总控节点在接收到所述作业申请请求后，激活作业分配服务；通过所述作业分配服务根据所述部署信息在所述待处理作业中确定各个所述计算节点需要处理的节点作业集合；其中，所述待处理作业的信息包括：子系统信息、数据库信息、计算节点信息、子系统间并发信息和子系统内并发信息；通过所述作业分配服务根据所述计算能力信息以及每个作业需要的计算能力，为各个所述计算节点在对应的所述节点作业集合中确定需要批量处理的所述节点作业并分别发送给各个所述计算节点。

可选地，所述计算节点对所述节点作业进行相应的业务处理包括：所述计算节点通过所述作业申请服务调度多个作业处理服务，以使所述多个作业处理服务对所述节点作业进行并发业务处理。