[发明专利]一种用于处理多阶段分布式任务调度的系统及方法

说明书

[技术领域]

本发明涉及数据处理领域，尤其涉及高可用集群计算机系统适用于多阶段分布式复杂事务处理要求的处理方法,具体是一种用于处理多阶段分布式任务调度的系统及方法。

[背景技术]

目前，在证券数据处理领域，面临一类被称为多阶段分布式复杂事务的复杂业务，例如ETF（Exchange Tradable Fund，交易所交易基金）申购赎回、一篮子股票同时交易等数据处理需求。该类业务往往具有如下的特点：在时间维度上，可划分为多个时序上相对独立的自然子阶段事务，当且仅当当前子阶段事务处理完毕方能引起下一个子阶段事务处理的开始，在空间维度上，每个子阶段事务内部又由多个可分布处理的子事务组成。事务是一个最小的工作单元，不论成功与否都作为一个整体进行工，由于事务是由几个任务组成的，因此如果一个事务作为一个整体是成功的，则事务中的每个任务都必须成功。如果事务中有一部分失败，则整修事务失败，当事务失败时，系统返回到事务开始前的状态，这个取消所有变化的过程称为“回滚”。

针对这类复杂事务，现有的处理方法有两类，一类是整体统一事务处理模式，一类是分布式两阶段事务处理模式，如果整体统一事务处理的模式，可以将这类复杂事务整个作为一个原子事务来进行处理，整体处理一阶段提交，处理成功则整体提交，否则整体回滚。整体处理的方式保证了事务的完整性，但是一旦发生回滚的时候，整体处理的开销将会很大，而现有的分布式两阶段事务处理，将分布式事务分为两个阶段进行：第一阶段准备阶段和第二阶段的提交阶段，在准备阶段，各个子事务可以分布式进行处理，并且各个子事务都完成了几乎所有的正式提交工作，在提交阶段进行整个事务的提交或者回滚操作，分布式两阶段事务处理也保证了事务的完整性，但是这种机制也是要求所有子任务要么全做要么全不做，无法实现在子阶段层面的回滚重做，同时，两阶段事务处理方式也未体现出复杂事务的分阶段处理思想。

[发明内容]

本发明是根据现有事务处理机制的现状，特别针对复杂事务的子阶段分布式处理以及子阶段细粒度回滚重做的技术难点，实现将复杂业务的处理放置在时序上多个独立自然子阶段的维度，每个子阶段又分布式进行处理，降低回滚成本的目的，提供一种用于处理多阶段分布式任务调度的系统及方法。

为了实现上述目的，发明一种用于处理多阶段分布式任务调度的系统，所述的系统由若干台负责具体业务处理的主机组成，每台主机负责一个或者多个产品集合处理，所有的主机之间通过存储区域网络共享访问磁盘，并通过共享磁盘来进行主机间数据同步，所有交易主机之间通过分布式锁进行消息同步，每台主机均部署功能模块和架构模块，功能模块负责归属本机产品集合的请求处理，分布式子事务处理主要在每台主机的功能模块完成，架构模块负责各主机在主机集群中的通讯和协调，多阶段任务调度则主要通过架构模块实施，在主机集群工作时，主机内部会推举一台主机兼做集群主节点，其他节点则自然成为集群从节点，主节点除了要负责归属本机产品集合的处理任务以外，还需承担整个集群上异步作业的管理，包括创建集群上的异步作业、触发从节点的数据同步、汇总从节点的处理结果。

所述的系统将需要处理的事务全集划分为多个独立性、完备性的事务处理空间，所述的独立性指不同事务的处理空间无交集，所述的完备性指其中一个产品的事务处理只需在该产品对应的事务处理空间中即可完成，将各个独立完备的事务处理空间划分到多个产品集合，并将不同产品集合分布到不同的业务主机上进行处理，整个多机集群系统为多个独立处理的节点构成，所有独立处理节点的交集为空，并集为全体事务。

所述的系统中所有从前台发来的事务通过通信层路由到主节点的架构模块，主节点架构模块将事务数据记入共享磁盘的工作页面日志文件，并通过同步锁触发从节点架构模块对于工作页面日志文件的重演，主从节点的架构模块会将归属自己的事务请求发送到本机的功能模块执行处理，功能模块处理后的响应信息则通过通信层汇总到主节点架构模块，主节点架构模块处理完整个事务后，会通过通信层将响应信息下发回前台请求。