[发明专利]大数据平台运行状态的监控方法和系统

说明书

本发明涉及一种大数据平台运行状态的监控方法和系统，该方法包括步骤：确定大数据平台的计算任务的各个任务阶段；通过预先部署在大数据平台的监控节点获取计算任务在各个任务阶段的任务执行情况；其中，所述监控节点与所述大数据平台的计算任务的各个任务阶段所在节点对应部署；根据所述计算任务在各个任务阶段的任务执行情况监控大数据平台的运行状态。上述方案通过预先部署的监控节点获取大数据平台的计算任务在各个任务阶段的任务执行情况，根据任务执行情况监控大数据平台的运行状态，克服了传统技术通过监控大数据平台的服务组件而导致准确性偏低的问题，实现对大数据平台的运行状态进行准确监控，还保证了大数据平台的运行效率。

技术领域

本发明涉及大数据技术领域，特别是涉及一种大数据平台运行状态的监控方法和系统、计算机设备和计算机可读存储介质。

背景技术

随着社会信息化程度的不断提高，在诸多业务领域产生了海量、实时的数据。当前大数据分析逐渐以非结构化为主，单机存储空间与运算能力难以满足需求，所以基于分布式的hadoop集群、spark集群和storm集群等大数据系统被广泛应用。大数据集群系统通常部署了成百上千个节点，节点规模的扩展不仅使大数据平台的集群资源配置与服务部署维护等越发困难，而且也使大数据平台的计算作业的提交、调度、重试及撤销告警等任务耗时耗力。

监控是大数据平台的重要组成部分，大数据系统的动态性、复杂性给大数据平台运行状态的监控带来了诸多困难，如何对集群软硬件资源及不同粒度的作业进行有效监控和预警，并在出现故障时及时采取措施，是提高大数据平台计算准确性与时效性的关键。

传统技术通常通过监控大数据平台的各个服务组件的服务情况来获取大数据平台的运行状态，然而由于大数据平台的服务组件有限和难以对组件进行二次开发等原因，难以监控到大数据平台的具体业务需求，例如难以保证大数据平台的计算任务的计算质量，导致这种技术监控大数据平台的运行状态的准确性偏低。

发明内容

基于此，有必要针对传统技术准确性偏低问题，提供一种大数据平台运行状态的监控方法和系统、计算机设备和计算机可读存储介质。

一种大数据平台运行状态的监控方法，包括步骤：

确定大数据平台的计算任务的各个任务阶段；

通过预先部署在大数据平台的监控节点获取所述计算任务在各个任务阶段的任务执行情况；其中，所述监控节点与所述大数据平台的计算任务的各个任务阶段所在节点对应部署；

根据所述计算任务在各个任务阶段的任务执行情况监控所述大数据平台的运行状态。

上述方案通过预先部署的监控节点获取大数据平台的计算任务在各个任务阶段的任务执行情况，根据任务执行情况监控大数据平台的运行状态，克服了传统技术通过监控大数据平台的服务组件而导致准确性偏低的问题，实现对大数据平台的运行状态进行准确监控，还保证了大数据平台的运行效率。

在一个实施例中，所述通过预先部署在大数据平台的监控节点获取所述计算任务在各个任务阶段的任务执行情况的步骤包括：

获取所述计算任务的类型；其中，所述计算任务的类型包括离线任务和实时任务；

调用预先部署在大数据平台与该类型相应的监控节点，获取所述类型的计算任务在相应任务阶段的任务执行情况。

在一个实施例中，所述计算任务的类型为离线任务；所述计算任务的任务阶段包括：数据迁移阶段、数据清洗阶段、数据计算阶段、计算结果产生阶段和计算结束阶段。