[发明专利]大数据集群准实时container资源分配监控分析方法

说明书

大数据集群准实时container资源分配监控分析方法，提供了一种用于监控和分析大数据集群的容器资源分配的方法，包括：产生容器资源分配日志；解析容器资源分配日志，并将解析的容器资源分配按照结构化存储到分布式文件系统；创建映射到所述结构化的容器资源分配的数据库表；部署分布式查询引擎以访问所述数据库表；以及在web端呈现由所述分布式查询引擎访问的容器资源分配，用于监控和分析。本公开实现了基于开源技术Hadoop集群结合Hive、Presto、Hcharts实现大数据集群环境下Yarn容器分配资源的监控分析。

技术领域

本公开涉及大数据后台优化技术领域，具体涉及一种用于监控分析大数据集群的容器(container)资源分配的方法、装置、计算设备和存储介质。

背景技术

当前随着各行业业务创新与发展，尤其是互联网、金融、通信等行业，其数据类型、数据量、计算量出现爆发式增长。大数据与云服务技术此时应运而生。在大数据与云服务上有针对不同业务和计算环境的大规模集群存储、计算服务，其资源分配与资源消耗是大数据与云服务的重要的核心考核指标。因此，需要一种能够高效及时地监控分析大数据环境下的资源分配的技术。

发明内容

有鉴于此，本公开主要提供了一种基于Hadoop、Yarn、Hive、Presto、Hcharts开源技术实现的大数据环境下对Yarn Container资源分配的准实时监控分析方法，且支持历史趋势分析。

根据本公开的第一方面，提供了一种用于监控和分析大数据集群的容器资源分配的方法，包括：产生容器资源分配日志；解析容器资源分配日志，并将解析的容器资源分配按照结构化存储到分布式文件系统；创建映射到所述结构化的容器资源分配的数据库表；部署分布式查询引擎以访问所述数据库表；以及在web端呈现由所述分布式查询引擎访问的容器资源分配，用于监控和分析。

在一个实施例中，所述方法可以适用于Hadoop和Yarn的环境，并且产生容器资源分配日志可以包括：由ResourceManager接收提交的应用程序；由ResourceManager为ApplicationManager申请容器资源，并与NodeManager通信，以启动ApplicationManager；在从ResourceManager获得容器资源后，由ApplicationManager与NodeManager通信，以启动任务和执行应用程序；在任务完成后，由ApplicationManager向ResourceManager注销容器资源，结束应用程序；以及由ResourceManager记录容器资源分配到Yarn日志文件。

在一个实施例中，解析容器资源分配日志可以包括使用脚本进行解析，将容器分配数量写入本地，并且存储到分布式文件系统可以包括将本地数据上传到集群HDFS。

在一个实施例中，所述数据库表可以是Hive表，其位置可以指向所述集群HDFS目录。

在一个实施例中，部署分布式查询引擎还可以包括部署Presto引擎并配置catloghive.properties信息，使得Presto引擎能够访问所述Hive表。

在一个实施例中，呈现容器资源分配可以包括使用可视化工具进行呈现，提供容器资源分配的历史趋势、同比分析、环比分析、同步预警和环比预警中的至少一个。

根据本公开的第二方面，提供了一种用于监控和分析大数据集群的容器资源分配的装置，包括：日志产生单元，被配置为产生容器资源分配日志；日志解析存储单元，被配置为解析容器资源分配日志，并将解析的容器资源分配按照结构化存储到分布式文件系统；数据表单元，被配置为创建映射到所述结构化的容器资源分配的数据库表；查询引擎单元，被配置为部署分布式查询引擎以访问所述数据库表；以及监控分析单元，被配置为在web端呈现由所述分布式查询引擎访问的容器资源分配，用于监控和分析。