[发明专利]PK体系下基于容器化技术构建和监控Hadoop集群与告警的方法

说明书

本发明公开了PK体系下基于容器化技术构建和监控Hadoop集群与告警的方法，包括：S1，在基于PK体系的节点服务器上搭建k8s并部署应用的镜像仓库服务；S2，在k8s上部署Prometheus，包括创建Prometheus的自定义对象Alertmanager、PrometheusRule、Prometheus、PodMonitor和ServiceMonitor及其他Prometheus组件，并配置Grafana进行图形化界面显示；S3，在k8s上搭建Hadoop集群，包括部署Hadoop集群的HDFS集群和YARN集群；S4，在节点服务器上部署Hadoop_exporter并采集Hadoop集群的监控数据按照容器监控平台规定的格式提供数据接口，容器监控平台调用Hadoop_exporter数据接口获取采集的监控数据；S5，通过PrometheusRule对象创建告警规则，Alertmanager接收Prometheus的告警信息并通知用户。本发明整个部署可一键部署，快速简洁，满足数据分析人员、测试人员、运维人员在软件开发、应用和管理工作中的需求。

技术领域

本发明属于Hadoop集群管理的技术领域，具体涉及一种PK体系下基于容器化技术构建和监控Hadoop集群与告警的方法。

背景技术

PK，P指飞腾(Phytium)处理器，是中国电子自主设计兼容ARMV8指令集的处理器芯片，K指麒麟(Kylin)操作系统，它支持云计算、虚拟化、大数据等应用并与飞腾处理器深度适配。PK体系是一个基础开放的架构组合，是国家级网络安全核心体系，对标Windows和英特尔。Hadoop(分布式系统基础架构)集群是一个能够对大量数据进行分布式处理的软件框架，以一种可靠、高效、可伸缩的方式进行数据处理，是大数据领域的主流技术，Hadoop2.0是由两套完整的集群所组成，一个是基本的HDFS(Hadoop Distributed File System，分布式文件系统)文件系统集群，负责海量数据的存储；一个是YARN(Yet Another ResourceNegotiator，分布式资源管理器)资源调度集群。

软件研发人员在工作过程中，往往需要进行多节点Hadoop集群的开发调试，经常遇到的一个问题是研发环境中的服务器数量不够用。与此类似，测试人员和运维人员在对Hadoop集群功能进行验证时，经常需要快速搭建一套多节点的Hadoop集群环境，也会遇到服务器数量不够用和部署环境配置繁琐导致时效性不高的情况。另外，对于数据分析人员，也经常需要快速部署Hadoop集群进行数据分析应用的需求。

发明内容

为解决上述技术问题中的至少之一，本发明提出PK体系下基于容器化技术构建和监控Hadoop集群与告警的方法。

本发明的目的通过以下技术方案实现：

本发明提供了PK体系下基于容器化技术构建和监控Hadoop集群与告警的方法，包括如下步骤：

S1，在基于PK体系的节点服务器上搭建k8s并部署应用的镜像仓库服务；

S2，在k8s上部署Prometheus，包括创建Prometheus的自定义对象Alertmanager、PrometheusRule、Prometheus、PodMonitor和ServiceMonitor及其他Prometheus组件，并配置Grafana图形化界面以可视化显示Prometheus的监控数据；

S3，在k8s上搭建Hadoop集群，包括部署Hadoop集群中的HDFS集群和YARN集群；

S4，在节点服务器上部署Hadoop_exporter，利用Hadoop_exporter采集Hadoop集群的监控数据并按照Prometheus规定的格式对外提供数据接口，Prometheus调用Hadoop_exporter提供的数据接口获取采集的监控数据；