[发明专利]一种基于容器集群的大数据平台架构系统

说明书

本发明公开了一种基于容器集群的大数据平台架构系统，包括由下至上依次连接的：物理资源层、操作系统层、mesos资源管理层、框架层和接口层；各层之间通过分布式协调管理器Zookeeper来进行协作与通讯管理；kubernetes作为框架集成到mesos资源管理层中，通过mesos资源管理层来获取底层物理资源；所述容器集群用于运行Docker应用，所述微服务应用封装于Docker应用中，外部系统通过接口层来调取本架构系统中的微服务应用。本发明的基于容器集群的大数据平台架构系统能够实现快速部署、秒级停起各类应用，支持多种服务的集群部署、负载均衡、灾难恢复和弹性伸缩。

技术领域

本发明涉及一种云计算存储技术领域，尤其涉及一种基于容器集群的大数据平台架构系统。

背景技术

目前，大数据时代59％的数据都是无效数据、70％的数据过于复杂、85％的企业数据架构无法适应数据量和复杂性增长的需求、98％的企业无法及时准确地为业务提供正确的信息。如今，大数据挑战和机遇并存，大数据服务平台建设正经历着由简单到复杂、由单一到多元、由局部到整体的全方位一体化的发展过程。然而支撑大数据服务的云数据中心往往存在以下挑战：1、难以在短时间内启动大规模计算资源来应对大量分布式计算节点的需求；2、弹性计算性价比低，每个虚拟机需要消耗大量额外的系统资源，在批处理为主的离线分析中，这些资源更是大部分时间都处于闲置状态。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于容器集群的大数据平台架构系统，其能解决当前计算资源利用率不高的技术问题。

本发明的目的采用如下技术方案实现：

一种基于容器集群的大数据平台架构系统，包括由下至上依次连接的：物理资源层、操作系统层、mesos资源管理层、框架层和接口层；各层之间通过分布式协调管理器Zookeeper来进行协作与通讯管理；

kubernetes作为框架集成到mesos资源管理层中，通过mesos资源管理层来获取底层物理资源；所述kubernetes用来管理容器集群中的微服务应用；所述容器集群用于运行Docker应用，所述微服务应用封装于Docker应用中，外部系统通过接口层来调取本架构系统中的微服务应用。

进一步地，还包括日志管理系统ELK，所述日志管理系统ELK用于实现平台架构系统在生产环境中的日志收集、格式化、过滤、索引、查询。

进一步地，所述框架层用于运行Hadoop、Spark、Storm、Marathon、Chronos、Docker中的数据处理框架以实现计算资源服务调度。

进一步地，所述接口层包括协议接口、服务接口和二次开发接口；所述协议接口，用于为外部系统提供标准化的协议接口，包括：通信协议接口、访问协议接口和数据解析接口；所述服务接口，用于为外部系统提供应用服务接口，外部系统能够通过调用该接口访问平台中的数据和应用，包括数据预处理接口、数据查询接口、数据分析接口和数据挖掘接口；所述二次开发接口用于为第三方平台和研发人员提供开发接口，包括数据接口、算法接口、数据分析接口和数据挖掘接口。

进一步地，所述框架层包括容器调取框架层，所述容器调度框架层通过不断比较集群内的状态信息与实际集群环境是否一致，当发现集群的状态信息与实际状态不一致时，与容器集群节点的控制进程进行通信创建容器实例，使状态信息和实际环境重新一致。

进一步地，还包括高可用键值存储系统ETCD，所述高可用键值存储系统ETCD存储各种集群状态信息，由多个节点相互通信构成整体对外服务，每个节点均存储了完整的数据，并通过Raft协议保证每个节点维护的数据是一致的。