[发明专利]基于HDFS的节点失效的快速检测与恢复方法及系统有效
| 申请号： | 201610859221.3 | 申请日： | 2016-09-28 |
| 公开（公告）号： | CN106254161B | 公开（公告）日： | 2020-01-03 |
| 发明（设计）人： | 席刚 | 申请（专利权）人： | 上海爱数信息技术股份有限公司 |
| 主分类号： | H04L12/24 | 分类号： | H04L12/24;H04L12/26;H04L29/08 |
| 代理公司： | 31219 上海光华专利事务所(普通合伙) | 代理人： | 高园园 |
| 地址： | 201112 上海市闵行*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种基于HDFS的节点失效的快速检测与恢复方法及系统，包括设定危险节点时间间隔，若在危险节点时间间隔未检测到数据节点的心跳信息，则判断该数据节点为危险节点，将其加入危险数据节点队列；在危险数据节点队列中，查找各数据节点中的相同数据块；根据相同数据块的出现次数设置恢复优先级，并根据恢复优先级将相同数据块加入待恢复队列，优先进行恢复。本发明的基于HDFS的节点失效的快速检测与恢复方法及系统在保证各数据节点的数据块可用，基本不增加网络带宽的前提下，提前恢复了危险数据块，降低了系统风险。 | ||
| 搜索关键词： | 基于 hdfs 节点 失效 快速 检测 恢复 方法 系统 | ||
【主权项】：
1.一种基于HDFS的节点失效的快速检测与恢复方法，其特征在于：包括以下步骤：/n设定危险节点时间间隔，若在危险节点时间间隔未检测到数据节点的心跳信息，则判断该数据节点为危险节点，将其加入危险数据节点队列；所述危险节点时间间隔须小于判断数据节点宕机所需时间；/n在危险数据节点队列中，查找各数据节点中的相同数据块；/n根据相同数据块的出现次数设置恢复优先级，并根据恢复优先级将相同数据块加入待恢复队列，优先进行恢复；/n对于相同数据块，存活副本数越多，优先级越低；存活副本数越少，优先级越高；所述存活副本数等于所有副本数减去宕机副本数和相同数据块的出现次数；/n在待恢复队列中，对于不同优先级的数据块，根据恢复优先级先后对不同的数据块进行恢复；/n在待恢复队列中，对于相同恢复优先级的不同数据块，按照加入恢复队列的先后依次进行恢复。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海爱数信息技术股份有限公司，未经上海爱数信息技术股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201610859221.3/，转载请声明来源钻瓜专利网。
