[发明专利]一种基于Spark流计算框架的消息容错方法及系统

权利要求书

1.一种基于Spark流计算框架的消息容错方法，其特征在于，包括如下步骤：

S1.创建工作流程序，设置元数据检查点任务将加入程序和配置版本标签的流式计算信息保存到存储系统；

S2.设置Spark流从消息队列读取消息后进行消息分区处理生成数据集，完成Spark流中数据集转换操作及创建逻辑执行计划；

S3.当Spark流中有状态转换，且有数据检查点时，设置数据集进行有状态转换处理，并在数据检查点任务中加入程序和配置版本标签；

S4.当系统出现故障时，设置Spark流获取检查点中的程序及配置版本信息，并在程序及配置版本信息发生改变时，启动重做任务，重做检查点，以及在程序及配置版本信息未发生改变时，重启程序；

S5.启动新版本程序，通过新版本检查点进行后续数据恢复处理。

2.如权利要求1所述的基于Spark流计算框架的消息容错方法，其特征在于，步骤S1具体步骤如下：

S11.创建工作流程序；

S12.设置流式计算信息中加入程序和配置版本标签；

S13.设置元数据检查点任务将流式计算信息保存到存储系统。

3.如权利要求1或2所述的基于Spark流计算框架的消息容错方法，其特征在于，步骤S1中，元数据检查点任务保存的流式计算信息包括创建流应用程序的配置、定义流应用程序的离散流操作集、作业排队但尚未完成的批次。

4.如权利要求1所述的基于Spark流计算框架的消息容错方法，其特征在于，步骤S3具体步骤如下：

S31.判断Spark流中是否有状态转换，且有数据检查点；

若否，返回步骤S2；

若是，进入步骤S32；

S32.设置数据集进行有状态转换处理，并在数据检查点任务中加入程序和配置版本标签。

5.如权利要求1所述的基于Spark流计算框架的消息容错方法，其特征在于，步骤S4具体步骤如下：

S41.当系统出现故障，设置Spark流启动对元数据检查点及数据检查点结果的反序列化操作；

S42.分别获取两个检查点各自的程序及配置版本信息；

S43.判断Spark流中程序和配置版本是否未改变；

若是，进入步骤S44；

若否，进入步骤S45；

S44.重启程序，进行后续处理；结束；

S45.启动重做任务，将两个检查点反序列化为内容进行修改，适配新版本要求，同时将修改后数据集或Spark流信息通过新版本检查点机制重做元数据检查点和数据检查点，并将检查点结果保存到存储系统。

6.如权利要求1所述的基于Spark流计算框架的消息容错方法，其特征在于，步骤S5具体步骤如下：

S51.启动新版本程序；

S52.将新版本检查点结果进行反序列化；

S53.通过新版本检查点进行后续数据恢复处理。

7.一种基于Spark流计算框架的消息容错系统，其特征在于，包括：

元数据检查点版本加入模块(1)，用于创建工作流程序，设置元数据检查点任务将加入程序和配置版本标签的流式计算信息保存到存储系统；

Spark流工作模块(2)，用于设置Spark流从消息队列读取消息后进行消息分区处理生成数据集，完成Spark流中数据集转换操作及创建逻辑执行计划；

数据检查点版本加入模块(3)，用于当Spark流中有状态转换，且有数据检查点时，设置数据集进行有状态转换处理，并在数据检查点任务中加入程序和配置版本标签；

版本判断模块(4)，用于当系统出现故障时，设置Spark流获取检查点中的程序及配置版本信息，并在程序及配置版本信息发生改变时，启动重做任务，重做检查点，以及在程序及配置版本信息未发生改变时，重启程序；

新检查点数据恢复模块(5)，用于当程序及配置版本信息发生改变时，重做检查点后，启动新版本程序，通过新版本检查点进行后续数据恢复处理。