[发明专利]PK体系下基于容器化技术构建和监控Hadoop集群与告警的方法

权利要求书

1.PK体系下基于容器化技术构建和监控Hadoop集群与告警的方法，其特征在于，包括如下步骤：

S1，在基于PK体系的节点服务器上搭建k8s并部署应用的镜像仓库服务；

S2，在k8s上部署Prometheus，包括创建Prometheus的自定义对象Alertmanager、PrometheusRule、Prometheus、PodMonitor和ServiceMonitor及其他Prometheus组件，并配置Grafana图形化界面以可视化显示Prometheus的监控数据；

S3，在k8s上搭建Hadoop集群，包括部署Hadoop集群中的HDFS集群和YARN集群；

S4，在节点服务器上部署Hadoop_exporter，利用Hadoop_exporter采集Hadoop集群的监控数据并按照Prometheus规定的格式对外提供数据接口，Prometheus调用Hadoop_exporter提供的数据接口获取采集的监控数据；

S5，通过PrometheusRule对象创建告警规则，Alertmanager接收Prometheus的告警信息并通知用户。

2.如权利要求1所述的PK体系下基于容器化技术构建和监控Hadoop集群与告警的方法，其特征在于，所述步骤S1中，在节点服务器上搭建k8s包括步骤如下：

S11.在节点服务器上选取节点作为管理节点、计算节点和存储节点，选取的节点是多管理节点时，则需要在节点服务器上配置代理节点，并从管理节点中选取部署节点；

S12.编写自动化脚本，并将选取的节点信息、镜像信息和磁盘设备名信息配置在自动化脚本的hosts文件中；

S13.在节点服务器上执行自动化脚本，一键安装k8s。

3.如权利要求2所述的PK体系下基于容器化技术构建和监控Hadoop集群与告警的方法，其特征在于，所述步骤S1中，k8s的网络采用Flannel服务，Flannel服务选用DaemonSet方式部署在k8s中，部署包括如下步骤：

S111.创建Flannel的相关目录；

S112.配置Flannel服务的DaemonSet的yaml文件；

S113.下载Flannel服务的网络插件；

S114.运行Flannel网络；

S115.在k8s上轮询等待Flannel运行。

4.如权利要求3所述的PK体系下基于容器化技术构建和监控Hadoop集群与告警的方法，其特征在于，所述步骤S1中，所述镜像仓库服务中的镜像是通过Docker制作的与PK体系适配的镜像和通过Docker从镜像仓库服务中拉取得到的。

5.如权利要求4所述的PK体系下基于容器化技术构建和监控Hadoop集群与告警的方法，其特征在于，通过Docker制作与PK体系适配的镜像包括如下步骤：

S1111.在PK体系的节点服务器下安装Docker环境；

S1112.获取Kylin操作系统镜像并上传到镜像仓库服务中；

S1113.获取Kylin操作系统下的应用到目标文件；

S1114.创建镜像；

S1115.上传创建的镜像到私有镜像仓库。

6.如权利要求5所述的PK体系下基于容器化技术构建和监控Hadoop集群与告警的方法，其特征在于，所述步骤S2中，使用Ansible自动化部署Prometheus，包括如下步骤：

S21.在节点服务器上拉取Prometheus框架；

S22.创建Prometheus组件模板文件和自定义对象模板文件；

S23.将相关镜像替换为PK适配下的镜像写在文件中；

S24.执行部署Prometheus，包括创建Prometheus的自定义对象Alertmanager、PrometheusRule、Prometheus、PodMonitor和ServiceMonitor及其他Prometheus组件。