[发明专利]一种面向AWS平台的并行系统快速部署方法有效
申请号: | 201410444527.3 | 申请日: | 2014-09-03 |
公开(公告)号: | CN104243563B | 公开(公告)日: | 2017-11-24 |
发明(设计)人: | 陆佳民;冯钧 | 申请(专利权)人: | 河海大学 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;H04L12/24;G06F9/44 |
代理公司: | 南京苏高专利商标事务所(普通合伙)32204 | 代理人: | 李玉平 |
地址: | 211100 江*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 面向 aws 平台 并行 系统 快速 部署 方法 | ||
1.一种面向AWS平台的并行系统快速部署方法,其特征在于利用外部初始化脚本来构建大规模且稳定的计算机集群系统,包括如下步骤:
步骤1,检测当前系统具有构建与控制AWS EC2计算机集群的必要条件,待设置必要参数后,利用具备内部初始化脚本的系统镜像,启动所有实例;
步骤2,等待并确保所有实例启动成功;
步骤3,为启动实例添加相应标签,以区分主实例与其它子实例,并收集主实例的公有链接地址,以及所有实例的私有IP地址;其中,最先启动的实例被视为主实例,并将其Name标签设置为master,而其它实例为子实例,子实例标签的Name标签则均被设置为slaves;
步骤4,利用系统内置的初始化脚本完成所有实例的初始化过程;
初始化主实例,并上传所收集到的实例私有IP地址信息,具体方法为:
步骤6-1,在AMI所封装的软件系统内,其启动脚本包含实例初始化功能的触发指令,当实例启动并被远程连接时,初始化过程被触发;为避免重复进行初始化过程,利用一个临时文件作为系统初始化标记,当初始化结束后则此文件被创建,而在下次实例被连接时,由于此文件的存在,则说明此实例已被初始化或者已用于其它集群,因此返回失败信息;在主实例被初始化前,所有收集到的实例私有IP地址被上传;
步骤6-2,通过查看自身的Name标签来确定当前计算机是否为主实例,否则进入步骤6-5-1;
步骤6-3,根据收集到的实例私有IP地址,修改并行处理系统的所有相关配置文件,然后将所有配置文件封装并进行压缩;
步骤6-4,将封装后的配置文件并行传输至所有参与此集群的子实例中;
步骤6-5,标记主实例初始化完成,初始化所有子实例,待全部完成后结束部署;子实例的初始化具体包含两个步骤:
步骤6-5-1,子实例检测是否已被初始化,若是则返回步骤6-5;
步骤6-5-2,待接收到步骤6-4传输的封装配置文件后,解压缩至相应路径,并标记此子实例初始化完成并返回步骤6-5。
2.根据权利要求1所述的一种面向AWS平台的并行系统快速部署方法,其特征在于步骤2的实例启动及等待过程,具体步骤为:
步骤2-1,周期性检测并收集未顺利启动的实例ID,若全部实例均已启动,则返回;
步骤2-2,告知用户未启动的实例数量,由用户自行决定是否继续等待一定周期,若是则返回步骤2-1;
步骤2-3,若用户决定不再等待,则终止未启动成功的实例,并再次启动相应数量的新实例,返回步骤2-1。
3.根据权利要求1所述的一种面向AWS平台的并行系统快速部署方法,其特征在于步骤4的利用预设于系统镜像内部的初始化脚本完成实例初始化过程,具体步骤为:
步骤4-1,查看此实例的初始化标记,并将收集到的实例私有IP地址上传至主实例;
步骤4-2,查看当前是否为主实例,否则进入步骤4-5-1;
步骤4-3,根据主子实例的私有IP地址,修改并行处理系统的所有相关配置文件,然后将所有配置文件封装并进行压缩;
步骤4-4,将封装后的配置文件并行传输至所有参与此集群的子实例中;
步骤4-5,标记主实例初始化完成,初始化所有子实例,待全部完成后结束部署;这一过程通过并发进程的方式完成,以便加快整体部署的效率;
步骤4-5利用预设于系统镜像内部的初始化脚本完成子实例初始化过程,具体步骤为:
步骤4-5-1,实例检测是否已被初始化,若是则返回;
步骤4-5-2,待接收到步骤4-4传输的封装配置文件后,解压缩至相应路径,并标记此子实例初始化完成并返回步骤4-5。
4.根据权利要求1所述的一种面向AWS平台的并行系统快速部署方法,其特征在于主实例是指由Hadoop系统指定为主计算机的AWS EC2实例,所述的子实例是指由Hadoop系统指定为子计算机的AWS EC2实例。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于河海大学,未经河海大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410444527.3/1.html,转载请声明来源钻瓜专利网。