[发明专利]一种基于队列的银行流计算业务系统中检查点快速持久化方法

权利要求书

1.一种基于队列的银行流计算业务系统中检查点快速持久化方法，其特征在于，该方法包括如下步骤：

(1)在银行流计算业务系统的操作量增加之前，人为向业务系统中需要进行流计算状态迁移的节点发出快照开始的指令，记录当前进行流计算节点的状态；

(2)需要进行流计算状态迁移的节点在接收到快照的信号后，触发检查点机制：银行流计算业务系统的Kafka中对应Topic的数据、信息、消息传输均停止，业务系统中进行流计算的节点开始进行自身计算状态的快照操作，记录下Kafka中对应Topic的偏移量值以及节点当前计算状态；

(3)基于Kafka消息队列先进先出的规则，将执行快照操作后的银行流计算业务系统中节点的流计算状态相关数据记录，按Kafka消息队列中的顺序依次存入HDFS文件系统中进行持久化保存；存储结束后，获取HDFS文件系统中的流计算状态相关数据的地址，将该地址与Kafka中当前Topic的偏移量值作为数据对存入Oracle数据库中，业务系统中的当前执行快照操作后的节点使用指针指向Oracle数据库中的数据对；

(4)对指针做切换操作：流计算状态迁移的目标节点使用指针指向Oracle数据库中的数据对，利用记录的Topic偏移量值重新开始消费Kafka中对应的Topic，读取HDFS文件系统中的流计算状态相关数据，对业务系统中原节点的流计算状态进行恢复，并取消原节点指向Oracle数据库中该条数据对的指针。

2.根据权利要求1所述的一种基于队列的银行流计算业务系统中检查点快速持久化方法，其特征在于，流计算状态迁移的节点开始进行自身计算状态的快照操作具体为：记录下上一次快照至此时与节点相关的数据处理的中间计算记录以及此次快照当前Topic的偏移量值。