[发明专利]大数据集群准实时Yarn任务监控分析方法

说明书

本公开提供了一种用于监控和分析大数据集群中的任务的方法，包括：从集群中获取与任务有关的数据；将与任务有关的数据存储到分布式文件系统；创建指向分布式文件系统中与任务有关的数据的数据库表；部署分布式查询引擎以访问所述数据库表；以及在web端呈现由所述分布式查询引擎访问的与任务有关的数据，用于监控和分析。本公开实现了基于开源技术Hadoop集群结合Hive、Presto、Hcharts实现大数据集群环境下Yarn任务的监控分析。

技术领域

本公开涉及大数据后台优化技术领域，具体涉及一种用于监控和分析大数据集群中的任务的方法、装置、计算设备和存储介质。

背景技术

当前随着各行业业务创新与发展，尤其是互联网、金融、通信等行业，其数据类型、数据量、计算量出现爆发式增长。大数据与云服务技术此时应运而生。在大数据环境下，经常采用Hadoop与Yarn结合来实现集群搭建以及集群资源控制。集群上用户的任务运行状态、执行资源队列、执行进度等信息是监控集群运行健康状态的重要核心内容。因此，需要一种能够高效及时地监控分析大数据集群中的任务的技术。

发明内容

有鉴于此，本公开主要提供了一种基于Hadoop、Yarn、Hive、Presto、Hcharts开源技术实现的大数据集群环境下对Yarn任务(application)执行情况的准实时监控分析的方法、装置、存储介质和计算设备。

根据本公开的第一方面，提供了一种用于监控和分析大数据集群中的任务的方法，包括：从集群中获取与任务有关的数据；将与任务有关的数据存储到分布式文件系统；创建指向分布式文件系统中与任务有关的数据的数据库表；部署分布式查询引擎以访问所述数据库表；以及在web端呈现由所述分布式查询引擎访问的与任务有关的数据，用于监控和分析。

在一个实施例中，所述方法可以适用于Hadoop和Yarn的环境，其中获取与任务有关的数据并存储到分布式文件系统可以包括使用脚本获取Yarn任务列表和包括Yarn任务的提交数量、等待数量、运行数量、完成数量中的至少一个的Yarn指标，以及存储到分布式文件系统可以包括将Yarn任务列表和Yarn指标上传到集群HDFS。

在一个实施例中，所述数据库表可以包括两个Hive表，分别指向集群HDFS中的Yarn任务列表和Yarn指标。

在一个实施例中，所述部署分布式查询引擎可以包括部署Presto引擎并配置catlog hive.properties信息，使得Presto引擎能够访问所述Hive表。

在一个实施例中，呈现与任务有关的数据可以包括使用可视化工具进行呈现，提供任务的历史趋势、同比分析、环比分析、同步预警和环比预警中的至少一个。

根据本公开的第二方面，提供了一种用于监控和分析大数据集群中的任务的装置，包括：获取单元，被配置为从集群中获取与任务有关的数据；存储单元，被配置将将与任务有关的数据存储到分布式文件系统；数据表单元，被配置为创建指向分布式文件系统中与任务有关的数据的数据库表；查询引擎单元，被配置为部署分布式查询引擎以访问所述数据库表；以及监控分析单元，被配置为在web端呈现由所述分布式查询引擎访问的与任务有关的数据，用于监控和分析。

在一个实施例中，上述装置可以适用于Hadoop和Yarn的环境，其中，获取单元还可以被配置为使用脚本获取Yarn任务列表和包括Yarn任务的提交数量、等待数量、运行数量、完成数量中的至少一个的Yarn指标；以及存储单元还可以被配置为将Yarn任务列表和Yarn指标上传到集群HDFS。

在一个实施例中，所述数据库表可以包括两个Hive表，分别指向集群HDFS中的Yarn任务列表和Yarn指标。

在一个实施例中，所述查询引擎单元还可以被配置为部署Presto引擎并配置catlog hive.properties信息，使得Presto引擎能够访问所述Hive表。