[发明专利]数据集群的部署方法、装置及系统

说明书

本发明公开了一种数据集群的部署方法、装置及系统，该方法包括：获取数据集群发送的容器创建请求中包含的标签信息；查询与所述标签信息相对应的Docker容器创建参数，创建与所述Docker容器创建参数相对应的运行环境；获取与所述Docker容器创建参数相匹配的系统资源；基于所述运行环境以及所述系统资源创建用于运行指定应用实例的Docker容器。该方式能够通过自动创建Docker容器的方式实现集群的自动化部署，提升了集群部署效率。

技术领域

本发明涉及通信技术，尤其涉及一种数据集群的部署方法、装置及系统。

背景技术

随着大数据技术的不断发展，各项业务对于大数据的需求也越来越强烈，随着业务的不断发展，原有的大数据存储技术已无法满足数据量日益增长的业务需求。相应的，现有的平台技术架构已经无法满足数据的存储需求以及数据处理能力的需求。为了解决上述问题，提出了一种基于Share-Disk架构实现的大数据解决方案。Share-Disk架构通过多个服务器节点共享一个存储来实现大数据集群。

但是，发明人在实现本发明的过程中发现，上述架构至少存在以下缺陷：由于同一时间集群中只有一台服务器工作，其他服务器只能作为冗余服务器，从而导致硬件资源严重浪费；并且，在存储方面容易出现单点故障。而且，该架构中的集群需要人工部署，操作繁琐。

发明内容

鉴于上述问题，本发明提供了一种数据集群的部署方法、装置及系统，以解决现有技术中的集群需要人工部署，操作繁琐的问题

根据本发明的一个方面，提供了一种数据集群的部署方法，包括：

获取数据集群发送的容器创建请求中包含的标签信息；

查询与所述标签信息相对应的Docker容器创建参数，创建与所述Docker容器创建参数相对应的运行环境；

获取与所述Docker容器创建参数相匹配的系统资源；

基于所述运行环境以及所述系统资源创建用于运行指定应用实例的Docker容器。

可选地，所述获取数据集群发送的容器创建请求中包含的标签信息之前，进一步包括：通过集群管理框架提供的接口，申请与所述指定应用实例相对应的虚拟资源；

则所述查询与所述标签信息相对应的Docker容器创建参数包括：

查询注册表中存储的与所述标签信息相对应的Docker容器创建参数；其中，所述标签信息与所述Docker容器创建参数之间的对应关系基于所述集群管理框架确定。

可选地，所述集群管理框架为mesos框架，且所述系统资源进一步包括：服务器资源、文件资源、以及网络资源。

可选地，所述查询与所述标签信息相对应的Docker容器创建参数，创建与所述Docker容器创建参数相对应的运行环境包括：

若所述与所述标签信息相对应的Docker容器创建参数为对应于第一类数据集群的参数，则创建基于所述集群管理框架的Docker运行环境；

若所述与所述标签信息相对应的Docker容器创建参数为对应于第二类数据集群的参数，则创建基于所述集群管理框架以及YARN框架的Docker运行环境。

可选地，所述若所述与所述标签信息相对应的Docker容器创建参数为对应于第一类数据集群的参数，则创建基于所述集群管理框架的Docker运行环境包括：

根据所述对应于第一类数据集群的参数，确定所述第一类数据集群对应的框架种类；

若所述第一类数据集群的框架种类为第一量级类框架，则创建基于所述集群管理框架的第一Docker运行环境；