[发明专利]一种支持多主机分布式数据处理的批处理方法及系统

说明书

[技术领域]

本发明涉及信息数据处理技术领域，具体是一种支持多主机分布式数据处理的批处理方法及系统。 

[背景技术]

随着证券交易市场的日益蓬勃和成熟，交易数据量也越来越大，对交易及处理系统的稳定性和处理效率都有较高的要求。在每个交易日交易时间段过后，交易系统就开始对当日的交易进行清算，然后处理复杂的非实时成交业务。这类盘后处理过程，业内通常称为批处理。简单的说，批处理就是将不同的任务进行分组，即分批，然后按照一定的顺序执行这些任务的过程。 

根据业务复杂程度的不同，批处理系统的复杂程度也不尽相同。最简单的批处理系统可以是一个简单、直观的SHELL程序，例如现有技术中有一种固定收益平台的批处理系统，此类批处理系统可以满足比较简单的业务需求。但是其效率、可扩展性，以及使用的便利性都有比较明显的问题。比如，如果需要增加一段处理逻辑，就需要修改该SHELL程序，对所有的其他业务都会有较大影响。 

现有技术中，大宗交易系统的批处理系统通常是一个基于UNIX的CRONTAB的轻量级数据处理系统。 一方面，CRONTAB为周期性调用应用程序逻辑提供了较大的便利，另一方面，其局限性也是十分的明显。首先，其不具备高可用性。使用CRONTAB意味着应用程序被执行的时间点是固定的, 当某一应用程序所依 赖的上游系统故障而需要推迟该应用程序时，需要人工干预。第二，异常处理能力较差。基于CRONTAB，并没有一个统筹的管理程序负责对于各个应用程序的执行情况进行监控。当某一个应用程序执行出错时，并不能及时反馈运行人员。在实践中，往往是下游系统运行人员将错误通知到该批处理系统的运行人员。第三，各批步骤耦合性较高，扩展性不佳。在CRONTAB配置文件中，所有的批步骤都被赋予了一个时间点。亦即在时间点的维度上，所有的批步骤都相关。而实际操作中，一般批步骤之间最大的相关性应该是先后顺序，而非实际的时间点。其限制了时间点，却未必能保证实际执行顺序，因此不够稳定可靠，在现有市场中还未能有一种处理效率高、安全稳定且可靠的批处理系统来满足日益丰富的数据量。 

[发明内容]

本发明的目的就是为了解决现有技术中的不足和缺陷，提供一种耦合性高、扩展性佳、安全、稳定、可靠的支持多主机分布式数据处理的批处理方法及系统。 

为实现上述目的，设计一种支持多主机分布式数据处理的批处理方法及系统，其特征在于批处理系统中设有批处理框架，批处理框架主要包括批处理引擎程序、批处理管理和监控程序、批处理流程控制文件以及批处理批步骤定义文件，其中，流程控制文件和批步骤定义文件为两个配置文件，当批处理引擎启动后，就会遍历流程控制文件，获得下一步需要处理批步骤代码，然后根据批处理代码，从批步骤定义文件获得需要执行的脚本信息，然后执行该脚本来完成该批步骤。 

所述的批处理引擎程序扫描批处理流程控制文件过程中，如果发现两个批步骤的配置为并行执行，则会将两个批步骤分别提交CPU并行执行；另外，流程控制文件中，将批处理步骤进行分组，不同的批处理组之间并行处理。 

所述的批处理系统采用多主机框架，多台主机使用同一个磁盘，访问相同的文件时，内存也保持一致，批处理引擎在其中一台主机中执行。 

所述的批处理框架和批处理应用程序相互分离，新增一个批处理步骤，在流程控制文件中新增该批步骤代码以及批步骤名，然后在批步骤定义文件中定义批步骤的相关信息；批步骤定义的相关信息包括需要执行的应用程序、是否需要多主机并发、是否需要多进程并发。 

一种支持多主机分布式数据处理的批处理方法，其特征在于该方法步骤操作如下：

a.批处理框架模型 

批处理引擎模块是批处理框架的核心，每一个批步骤会有一个5位数的代码，当批处理引擎启动后，就会遍历批处理流控制文件，获得下一步需要处理批步骤代码，然后根据批处理代码，从批步骤定义文件获得需要执行的脚本，然后执行该脚本来完成该批步骤，批处理引擎还会对每一个批步骤执行的结果进行检查并做相应处理； 

b.批处理操控界面 

批处理操控界面中，每一条记录代表一个批步骤，根据此界面查看及设置批步骤的执行状态、查看批步骤所调用的应用程序、查看执行批步骤执行日志、重新启动批处理操作； 

c.流控制模型–串行处理与并行处理