[发明专利]一种基于Spark流计算框架的消息容错方法及系统有效
| 申请号： | 202010470184.3 | 申请日： | 2020-05-28 |
| 公开（公告）号： | CN111752752B | 公开（公告）日： | 2022-07-19 |
| 发明（设计）人： | 魏健;赵波 | 申请（专利权）人： | 苏州浪潮智能科技有限公司 |
| 主分类号： | G06F11/14 | 分类号： | G06F11/14 |
| 代理公司： | 济南舜源专利事务所有限公司 37205 | 代理人： | 张营磊 |
| 地址： | 215100 江苏省苏州市吴*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种基于Spark流计算框架的消息容错方法及系统，方法如下：创建工作流程序，设置元数据检查点任务将加入程序和配置版本标签的流式计算信息保存到存储系统；设置Spark流从消息队列读取消息获取数据集，完成Spark流中数据集转换操作及创建逻辑执行计划；当Spark流中有状态转换，且有数据检查点时，设置数据集进行有状态转换处理，并在数据检查点任务中加入程序和配置版本标签；当系统出现故障时，设置Spark流获取检查点中的程序及配置版本信息，并在程序及配置版本信息发生改变时，启动重做任务，重做检查点，以及在未发生改变时，重启程序；启动新版本程序，通过新版本检查点进行后续数据恢复处理。 | ||
| 搜索关键词： | 一种 基于 spark 计算 框架 消息 容错 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于苏州浪潮智能科技有限公司，未经苏州浪潮智能科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010470184.3/，转载请声明来源钻瓜专利网。
