[发明专利]一种基于分布式架构的批处理方法

说明书

本发明涉及一种基于分布式架构的批处理方法，包括：任务配置：负责管理任务信息，配置业务批处理任务；任务调度：将配置好的任务注册到计划调度器容器形成装配好的作业，计划调度器容器中的线程池并行调度执行每个作业；批处理：在Spring Batch的基础上采用远程分片的技术对业务数据按照不同的业务需求进行批量处理；任务监控：对任务调度及批处理进行全过程的日志记录。与现有技术相比，本发明大大提高了Spring Batch在处理大数量文件或数据的时效，从而高效地执行超大型数据密集的批处理任务。

技术领域

本发明涉及一种批处理方法，尤其是涉及一种基于分布式架构的批处理方法。

背景技术

批处理作为银行业务的重要处理技术，最主要是对资金交易进行对账、清算、生成报表等，特别是涉及大数据量业务的跑批操作，随着分布式架构的广泛应用，对批处理的需求也提出了新的挑战，传统应对单体系统的批处理方式，已经不能满足日益复杂的业务处理需要。

Spring Batch是市面上较流行的轻量级的综合性批处理框架，可以应用于企业级大数据批量处理。典型的批处理流程是读数据、处理数据、写数据，具体为：从数据库、文件或队列中读取大量数据，然后通过一定的业务规则处理数据，最后将处理完的数据按不同业务流程写入(数据库、文件等)。通常Spring Batch工作在离线模式下，不需要用户干预、就能自动进行基本的批处理迭代，进行类似事务方式的处理。

Spring Batch架构主要分为三类组件：应用层(Application)、核心层(Core)和基础架构层(Infrastructure)。

应用层(Application)：指开发人员编写的所有批处理业务作业和自定义代码。

核心层(Core)：指加载和控制批处理作业所必需的核心类，含JobLauncher，Job和Step的实现。

基础架构层(Infrastructure)：应用层与核心层都构建在基础架构层之上。基础架构包括通用的readers(ItemReader)和writers(ItemWriter)，以及services(如重试模块RetryTemplate)，可以被应用层和核心层所使用。

Spring Batch是一个轻量级的批处理应用框架，他的轻量级是相对于MapReduce、Spark之类的集群批处理架构来说的。总体有如下缺点：

1、虽然spring batch支持机器集群，但是大多用的是单机的多线程并行处理。

2、Spring Batch不是一个调度框架，它只关注于任务的处理，如日志监控、事务、并发问题等，因此未提供关于批处理任务调度的功能。

3、Spring Batch未提供统一的任务配置管理界面，不利于批处理任务的管理和监控。

4、当批处理任务出现异常时，Spring Batch没有告警功能，不能及时通知到项目负责人。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于分布式架构的批处理方法。

本发明的目的可以通过以下技术方案来实现：

一种基于分布式架构的批处理方法，包括：

任务配置：负责管理任务信息，配置业务批处理任务；

任务调度：将配置好的任务注册到计划调度器容器形成装配好的作业，计划调度器容器中的线程池并行调度执行每个作业；

批处理：在Spring Batch的基础上采用远程分片的技术对业务数据按照不同的业务需求进行批量处理；

任务监控：对任务调度及批处理进行全过程的日志记录。