[发明专利]用于实现集群自适应部署的方法

说明书

本发明公开一种用于实现集群自适应部署的方法，包括如下步骤：在部署虚拟机集群的主节点时，加载配置文件；获取主节点所在的隔离网络内的集群信息；根据配置文件和集群信息识别并标记虚拟机集群内的所有从节点；根据配置文件对标记的所有从节点进行配置信息的更新。还提供了一种用于实现集群自适应部署的脚本文件，基于云平台的自适应部署大数据集群的部署方法和系统。根据本发明提供的方法和系统，可以满足个性化服务器资源租赁或实验室多集群资源的需求，使得云服务提供商能将物理网络设备抽象成虚拟的网络设备提供给客户，并允许每个租户创建自己的虚拟网络，结合客户或团体的需求，对虚拟网络进行个性化管理。

技术领域

本发明涉及云数据技术领域，特别是一种用于实现集群自适应部署的方法。

背景技术

随着云计算技术的快速发展，对虚拟网络资源的个性化要求越来越高。对资源提供商而言，虚拟网络的基本需求是:允许私有云网络中多Hadoop集群共存，即在同一套物理网络环境中，支持创建多套具备独立服务模型、拓扑和IP地址空间的Hadoop集群虚拟网络。而从客户的角度来看，不仅要求能够创建一套独立的虚拟网络，在其中运行业务，而且要求确保客户数据的隔离的稳定性，保证数据不会由于动态资源分配而产生资源冲突。

目前可以通过OpenStack的Sahare快速搭建Hadoop集群。但是存在版本兼容的问题，以及集群的配置信息应用繁琐的问题。

发明内容

本发明为了解决上述问题，满足个性化服务器资源租赁或实验室多集群资源的需求，使得云服务提供商能将物理网络设备抽象成虚拟的网络设备提供给客户，并允许每个租户创建自己的虚拟网络，结合客户或团体的需求虚拟机资源，获得多个Hadoop云平台集群环境，对虚拟网络进行个性化管理，提供了一种用于实现集群自适应部署的方法及基于云平台的多集群自适应部署方法和系统。并且通过本发明可以实现动态扩容、删减集群或节点，实时动态更改，更新集群配置的功能，完成自适应性的部署。

根据本发明的一个方面，提供了一种用于实现集群自适应部署的方法，包括如下步骤：在部署虚拟机集群的主节点时，加载配置文件；根据配置文件识别并标记虚拟机集群内的所有从节点；根据配置文件对标记的从节点进行配置信息的更新。由此，可以通过布置主节点和从节点方便该隔离网络内的部署管理，对于在主节点上加载配置文件，可以方便后续的个性化管理，根据配置文件对标记的从节点进行更新实现了更新集群配置的功能，有利于用户创建自己所需要的虚拟网络。

在一些实施方式中，配置文件包含从节点与主节点的端口映射规则，根据配置文件识别并标记虚拟机集群内的所有从节点包括：获取主节点所在的隔离网络内的集群信息；根据集群信息和配置文件中的映射规则识别并记录虚拟机集群内的所有从节点。由此，可以通过配置文件的端口映射规则，实现从节点的标识，保证了在同一隔离网络内，主从节点的对应关系，防止在数据传输的过程中发生误传等现象。

在一些实施方式中，根据配置文件对标记的所有从节点进行配置信息的更新包括如下步骤：与虚拟机集群内的所有从节点建立通信连接；根据配置文件生成各个从节点的自定义配置文件；将自定义配置文件分别传输至相应的从节点进行配置文件的替换。由此，可以通过配置文件对各个从节点的配置文件进行更新和替换，防止误传等操作，有效的提高了配置文件的更新效率，有利于用户自定义对其进行更改。

在一些实施方式中，与虚拟机集群内的所有从节点建立通信连接包括：监测各个从节点的SSH服务的启动情况，在检测到SSH服务启动时对从节点建立SSH通信，并通过密钥的方式，实现SSH免密登陆。由此，通过SSH通信进行传输的方式可以达到安全传输的目的。