[发明专利]一种基于队列的银行流计算业务系统中检查点快速持久化方法

说明书

本发明公开了一种基于队列的银行流计算业务系统中检查点快速持久化方法。在银行流计算业务中，很多时候交易量会激增，需要处理的数据量也大大增加，超出业务系统中节点的承载能力。新节点恢复业务系统中原节点的工作的依据是原节点的计算状态记录，业务系统采用流计算的方式对数据进行处理，因此对业务系统当前流计算状态进行快照保存并作持久化处理是必要的。周期性快照的处理方式有两个缺点：造成计算停顿、产生大量非必须的快照信息。针对上述处理方法的缺陷，该系统使用的方法是一种以优化后快速的检查点算法为基线的轻量级快照数据处理引擎，高效的管理整个节点迁移系统，便于计算状态在两个节点间的相互迁移，且资源占用较少，迁移代价较小。

技术领域

本发明属于分布式计算领域，尤其涉及一种基于队列的银行流计算业务系统中检查点快速持久化方法。

背景技术

在银行风控等实时性要求较高的流计算业务场景中，要求系统的计算性能可以满足大量持续高强度的数据运算，并做到低延时与高吞吐的目标。除此之外，在这些场景中，除了实时性的要求以外，对容错率的要求也很高，较小的错误也可能会导致实际应用中很大的问题。

银行流计算业务作为银行重要的作业场景之一，采用流计算的架构对交易数据进行处理。在复杂的业务场景中，往往涉及到交易量突然激增的状况，此时待处理数据比正常情况多出较多倍数，如果仍然使用承载能力较差的节点进行处理，则会引起系统节点崩溃，从而引发一系列数据无法计算、不一致的状况，造成无法估量的损失。而这样的情况可以通过对流计算状态进行快照并做持久化处理的方式避免，即在预估此后一段时间业务系统中会触发较多操作，引起计算需求增大的前提下，进行人工操作，对银行流计算业务系统发出信号，使系统中的节点记录好当前的流计算状态并进行存储，从而对快照做持久化处理，便于之后将当前的计算状态迁移至承载能力更强的节点中。同时，在计算需求显著减少后，为了避免资源的浪费，可以利用同样的步骤，将业务系统的流计算状态迁移至承载能力稍弱的节点中。

目前涉及银行流计算业务系统中节点迁移场景下的解决方案要求对操作状态进行持续的全局快照，这样的方式有两个严重影响系统性能的缺陷：

1)每一次全局快照均会使银行流计算业务系统中的所有计算进程停止运行，所有通道消息停止传输，造成整个流计算过程的停滞，以达到获取全局一致性状态的目的。这样强制打断系统运行的过程通常会导致系统性能降低；

2)银行流计算业务系统某一时刻的全局状态是指其所有进程和通道的状态组合，全局快照算法会将对全局状态进行记录，即将所有的通道传输记录以及未处理的消息作为快照的一部分，使得快照过大，包含的冗余信息过多，导致系统中各个节点的计算性能下降。

综上所述，目前银行流计算业务系统在判断交易量激增后，进行节点迁移的场景中必须使用快照与持久化技术来进行恢复处理，而其采用的全局快照技术会对节点的计算性能以及实时性牺牲较大，保证数据正确性和一致性的同时不能保证系统中节点的快速计算能力。因此需要一类轻量级、对系统性能无较大影响的快照数据处理技术应用于银行流计算业务系统中，保证流计算状态能快速稳定的记录下来并持久化的保存，以便于后续从节点保存的状态下恢复业务系统的计算。

发明内容

针对上述提到的银行流计算业务系统中，节点间流计算状态的迁移场景下采用全局快照技术作为迁移恢复的基础算法而产生的一系列操作和管理的问题，本发明提出了一种基于队列的检查点快速持久化技术方法，采用优化的快照算法作为基线，实现了节点计算状态迁移场景下轻量级的快照数据处理引擎与恢复机制，在必要的节点状态迁移中能快速稳定的应对。

本发明通过以下技术方案来实现，一种基于队列的银行流计算业务系统中检查点快速持久化方法，该方法包括如下步骤：

(1)在银行流计算业务系统的操作量增加之前，人为向业务系统中需要进行流计算状态迁移的节点发出快照开始的指令，记录当前进行流计算节点的状态；