[发明专利]一种基于容器集群的大数据平台架构系统

权利要求书

1.一种基于容器集群的大数据平台架构系统，其特征在于，包括由下至上依次连接的：物理资源层、操作系统层、mesos资源管理层、框架层和接口层；各层之间通过分布式协调管理器Zookeeper来进行协作与通讯管理；

kubernetes作为框架集成到mesos资源管理层中，通过mesos资源管理层来获取底层物理资源；所述kubernetes用来管理容器集群中的微服务应用；所述容器集群用于运行Docker应用，所述微服务应用封装于Docker应用中，外部系统通过接口层来调取本架构系统中的微服务应用。

2.如权利要求1所述的一种基于容器集群的大数据平台架构系统，其特征在于，还包括日志管理系统ELK，所述日志管理系统ELK用于实现平台架构系统在生产环境中的日志收集、格式化、过滤、索引、查询。

3.如权利要求1所述的一种基于容器集群的大数据平台架构系统，其特征在于，所述框架层用于运行Hadoop、Spark、Storm、Marathon、Chronos、Docker中的数据处理框架以实现计算资源服务调度。

4.如权利要求1所述的一种基于容器集群的大数据平台架构系统，其特征在于，所述接口层包括协议接口、服务接口和二次开发接口；所述协议接口，用于为外部系统提供标准化的协议接口，包括：通信协议接口、访问协议接口和数据解析接口；所述服务接口，用于为外部系统提供应用服务接口，外部系统能够通过调用该接口访问平台中的数据和应用，包括数据预处理接口、数据查询接口、数据分析接口和数据挖掘接口；所述二次开发接口用于为第三方平台和研发人员提供开发接口，包括数据接口、算法接口、数据分析接口和数据挖掘接口。

5.如权利要求1所述的一种基于容器集群的大数据平台架构系统，其特征在于，所述框架层包括容器调取框架层，所述容器调度框架层通过不断比较集群内的状态信息与实际集群环境是否一致，当发现集群的状态信息与实际状态不一致时，与容器集群节点的控制进程进行通信创建容器实例，使状态信息和实际环境重新一致。

6.如权利要求5所述的一种基于容器集群的大数据平台架构系统，其特征在于，还包括高可用键值存储系统ETCD，所述高可用键值存储系统ETCD存储各种集群状态信息，由多个节点相互通信构成整体对外服务，每个节点均存储有完整的数据，并通过Raft协议保证每个节点维护的数据是一致的。

7.如权利要求6所述的一种基于容器集群的大数据平台架构系统，其特征在于，所述容器调取框架层还用于给执行如下步骤：虚拟DNS负责在ETCD存储中查找主机名对应IP，并将IP分配给容器使用；还用于通过网络扩展组件实现容器的跨主机通讯。

8.如权利要求1所述的一种基于容器集群的大数据平台架构系统，其特征在于，所述架构系统在大规模生产部署时，采用Ansible配置管理工具，实现数据处理平台的一键式安装和删除。

9.如权利要求1所述的一种基于容器集群的大数据平台架构系统，其特征在于，所述Docker应用通过如下步骤构建实现：

通过编写Dockerfile文件构建Hadoop大数据集群自动化部署相关的Docker镜像，包括Server端镜像和Agent端镜像；利用Server端镜像启动一个Server容器，利用Agent端镜像启动多个Agent端，由Server端对多个Agent端进行统一管理，同时在Server容器中启动Web应用；建立一个由Server端、多Agent端和Web端组成的分布式架构，自动化启动部署Hadoop相关大数据集群的服务。

10.如权利要求1所述的一种基于容器集群的大数据平台架构系统，其特征在于，所述分布式协调管理器Zookeeper用于保存平台架构系统的非业务性元数据，并动态的通知对应的订阅者。