[发明专利]大数据集群准实时container资源分配监控分析方法

权利要求书

1.一种用于监控和分析大数据集群的容器资源分配的方法，包括：

产生容器资源分配日志；

解析容器资源分配日志，并将解析的容器资源分配按照结构化存储到分布式文件系统；

创建映射到所述结构化的容器资源分配的数据库表；

部署分布式查询引擎以访问所述数据库表；以及

在web端呈现由所述分布式查询引擎访问的容器资源分配，用于监控和分析。

2.根据权利要求1所述的方法，其中，所述方法适用于Hadoop和Yarn的环境，并且产生容器资源分配日志包括：

由ResourceManager接收提交的应用程序；

由ResourceManager为ApplicationManager申请容器资源，并与NodeManager通信，以启动ApplicationManager；

在从ResourceManager获得容器资源后，由ApplicationManager与NodeManager通信，以启动任务和执行应用程序；

在任务完成后，由ApplicationManager向ResourceManager注销容器资源，结束应用程序；以及

由ResourceManager记录容器资源分配到Yarn日志文件。

3.根据权利要求1所述的方法，其中，解析容器资源分配日志包括使用脚本进行解析，将容器分配数量写入本地，并且存储到分布式文件系统包括将本地数据上传到集群HDFS。

4.根据权利要求3所述的方法，其中，所述数据库表是Hive表，其位置指向所述集群HDFS目录。

5.根据权利要求4所述的方法，其中，部署分布式查询引擎包括部署Presto引擎并配置catlog hive.properties信息，使得Presto引擎能够访问所述Hive表。

6.根据权利要求1所述的方法，其中，呈现容器资源分配包括使用可视化工具进行呈现，提供容器资源分配的历史趋势、同比分析、环比分析、同步预警和环比预警中的至少一个。

7.一种用于监控和分析大数据集群的容器资源分配的装置，包括：

日志产生单元，被配置为产生容器资源分配日志；

日志解析存储单元，被配置为解析容器资源分配日志，并将解析的容器资源分配按照结构化存储到分布式文件系统；

数据表单元，被配置为创建映射到所述结构化的容器资源分配的数据库表；

查询引擎单元，被配置为部署分布式查询引擎以访问所述数据库表；以及

监控分析单元，被配置为在web端呈现由所述分布式查询引擎访问的容器资源分配，用于监控和分析。

8.根据权利要求7所述的装置，其中，所述装置适用于Hadoop和Yarn的环境，并且日志产生单元还可以被配置为：

由ResourceManager接收提交的应用程序；

由ResourceManager为ApplicationManager申请容器资源，并与NodeManager通信，以启动ApplicationManager；

在从ResourceManager获得容器资源后，由ApplicationManager与NodeManager通信，以启动任务和执行应用程序；

在任务完成后，由ApplicationManager向ResourceManager注销容器资源，结束应用程序；以及

由ResourceManager记录容器资源分配到Yarn日志文件。

9.根据权利要求7所述的装置，其中，日志解析存储单元还被配置为：使用脚本进行解析，将容器分配数量写入本地，并且存储到分布式文件系统包括将本地数据上传到集群HDFS。

10.根据权利要求9所述的装置，其中，所述数据库表是Hive表，其位置指向所述集群HDFS目录。