[发明专利]提升Hadoop双机集群下Web_HDFS可用性的方法有效
申请号: | 201811018001.3 | 申请日: | 2018-09-03 |
公开(公告)号: | CN109104321B | 公开(公告)日: | 2021-05-18 |
发明(设计)人: | 林其锦 | 申请(专利权)人: | 福建星瑞格软件有限公司 |
主分类号: | H04L12/24 | 分类号: | H04L12/24;H04L12/26;H04L29/08 |
代理公司: | 福州市鼓楼区京华专利事务所(普通合伙) 35212 | 代理人: | 王美花 |
地址: | 350000 福建省福州市鼓楼*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 提升 hadoop 双机 集群 web_hdfs 可用性 方法 | ||
1.一种提升Hadoop双机集群下Web_HDFS可用性的方法,其特征在于:包括如下步骤:
步骤S10、创建Hadoop的zookeeper会话;
步骤S20、启动活动节点的缓存功能,从zookeeper会话中获取活动节点以及备用节点并进行缓存;启动活动节点的更新功能,调用文件管理服务对活动节点进行逐一访问,验证活动节点的可操作性,并更新可操作性信息至应用端;
步骤S30、应用端从缓存中获取活动节点,调用Web_HDFS进行文件操作,若文件操作失败,依据可操作性信息获取具备可操作性的活动节点进行文件操作;
所述步骤S10具体为:
步骤S11、配置zookeeper地址;
步骤S12、创建zookeeper会话,建立应用端与服务器的连接,连接成功后保存会话连接;
所述步骤S20具体为:
步骤S21、启动活动节点的缓存功能,在程序初始化时,自动从zookeeper会话中的zookeeper地址获取各NameNode信息并区分出活动节点以及备用节点,并对活动节点以及备用节点进行缓存;
步骤S22、启动活动节点的定时更新功能,在设定的第一周期内调用文件管理服务对活动节点进行逐一访问,验证活动节点的可操作性,并更新可操作性信息至应用端。
2.如权利要求1所述的提升Hadoop双机集群下Web_HDFS可用性的方法,其特征在于:所述步骤S22中,所述在设定的第一周期内调用文件管理服务具体为:
记录活动节点可操作性信息的更新次数,若在设定的第二周期内未更新,则延长第一周期至第三周期;若延长第一周期至第三周期后,在设定的第二周期内产生更新,则缩短第三周期至第一周期。
3.如权利要求1所述的提升Hadoop双机集群下Web_HDFS可用性的方法,其特征在于:所述步骤S30具体为:
步骤S31、应用端从缓存中获取活动节点,调用Web_HDFS进行文件操作,若文件操作失败,则进入步骤S32;若文件操作成功,则结束流程;
步骤S32、依据可操作性信息,通过zookeeper会话获取具备可操作性的活动节点进行文件操作,操作完成结束流程。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于福建星瑞格软件有限公司,未经福建星瑞格软件有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811018001.3/1.html,转载请声明来源钻瓜专利网。