[发明专利]一种基于受限恢复的图迭代器及方法有效
| 申请号： | 201911021201.9 | 申请日： | 2019-10-25 |
| 公开（公告）号： | CN110750385B | 公开（公告）日： | 2022-09-09 |
| 发明（设计）人： | 韦刘国;赵宇海;王国仁;季航旭;李博扬 | 申请（专利权）人： | 东北大学;北京理工大学 |
| 主分类号： | G06F11/14 | 分类号： | G06F11/14;G06F16/182 |
| 代理公司： | 沈阳东大知识产权代理有限公司 21109 | 代理人： | 李在川 |
| 地址： | 110819 辽宁*** | 国省代码： | 辽宁;21 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开一种基于受限恢复的图迭代器及方法，属于分布式迭代计算技术领域。该迭代器采用分布式图计算算法的join‑GroupBy‑Union‑aggregation模式将图计算转换操作中的宽依赖转化为窄依赖，并对部分数据进行备份，从而使得只需恢复故障节点而不需要完全将整个计算回退到最近检查点保存的状态；在故障节点恢复时采用所有健康节点来并行恢复，进一步加快了故障恢复的速度；图迭代中在迭代尾部添加检查点的非阻塞检查点模型，加速了检查点的写入速度，并且在尾部检查点添加了迭代感知器，使得仅在当前迭代中的检查点完成后才启动下一个迭代，有助于在迭代图处理期间协调检查点的创建。 | ||
| 搜索关键词： | 一种 基于 受限 恢复 图迭代器 方法 | ||
【主权项】：
1.一种基于受限恢复的图迭代器，其特征在于包括：依赖转换与数据备份模块、尾检查点模块与受限恢复模块；/n所述依赖转换与数据备份模块：以分布式图计算算法的join-GroupBy-Union-aggregation模式为基础，将对上游数据的依赖转换为窄依赖模式；通过数据备份来实现故障节点恢复的单依赖性，保证故障恢复时只需对故障节点进行恢复；/n所述尾检查点模块采用非阻塞检查点，实现反向通道与写检查点的同时进行；同时为了保证迭代的正确执行，加入迭代感知器，使迭代头知道什么时候可以进入下次迭代，检查点的存储利用Hadoop提供的分布式存储工具HDFS；/n所述受限恢复模块根据依赖转换模块的窄依赖模式将故障的恢复限制在只针对故障节点的恢复，同时针对集群中可能出现的单点故障，多点故障，以及级联故障分别提出了对应的恢复方式。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于东北大学;北京理工大学，未经东北大学;北京理工大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201911021201.9/，转载请声明来源钻瓜专利网。
- 上一篇：大数据管理系统
- 下一篇：一种基于X86架构的机载计算机掉电纠错设计方法
