[发明专利]一种面向AWS平台的并行系统快速部署方法

摘要

本方法公开了面向AWS（Amazon Web Services 亚马逊网络服务系统）平台，快速部署并行处理系统的基本方法。本发明明确了基于AWS所提供的EC2（Elastic Compute Cloud 弹性计算云）服务，利用外部初始化脚本来构建大规模且稳定的计算机集群系统，同时利用内置初始化脚本来部署Hadoop扩展平台的基本流程。在保证部署质量的前提下，将集群准备的时间与费用成本降到最低。

主权项

一种面向AWS平台的并行系统快速部署方法，其特征在于利用外部初始化脚本来构建大规模且稳定的计算机集群系统，包括如下步骤：步骤1，检测当前系统具有构建与控制AWS EC2计算机集群的必要条件，待设置必要参数后，利用具备内部初始化脚本的系统镜像，启动所有实例；步骤2，等待并确保所有实例启动成功；步骤3，为启动实例添加相应标签，以区分主实例与其它子实例，并收集主实例的公有链接地址，以及所有实例的私有IP地址；其中，最先启动的实例被视为主实例，并将其Name标签设置为master，而其它实例为子实例，子实例标签的Name标签则均被设置为slaves；步骤4，利用系统内置的初始化脚本完成所有实例的初始化过程；初始化主实例，并上传所收集到的实例私有IP地址信息，具体方法为：步骤6‑1，在AMI所封装的软件系统内，其启动脚本包含实例初始化功能的触发指令，当实例启动并被远程连接时，初始化过程被触发；为避免重复进行初始化过程，利用一个临时文件作为系统初始化标记，当初始化结束后则此文件被创建，而在下次实例被连接时，由于此文件的存在，则说明此实例已被初始化或者已用于其它集群，因此返回失败信息；在主实例被初始化前，所有收集到的实例私有IP地址被上传；步骤6‑2，通过查看自身的Name标签来确定当前计算机是否为主实例，否则进入步骤6‑5‑1；步骤6‑3，根据收集到的实例私有IP地址，修改并行处理系统的所有相关配置文件，然后将所有配置文件封装并进行压缩；步骤6‑4，将封装后的配置文件并行传输至所有参与此集群的子实例中；步骤6‑5，标记主实例初始化完成，初始化所有子实例，待全部完成后结束部署；子实例的初始化具体包含两个步骤：步骤6‑5‑1，子实例检测是否已被初始化，若是则返回步骤6‑5；步骤6‑5‑2，待接收到步骤6‑4传输的封装配置文件后，解压缩至相应路径，并标记此子实例初始化完成并返回步骤6‑5。