[发明专利]大数据作业的状态监测及健康度评估方法、装置

说明书

大数据作业的状态监测及健康度评估方法、装置，所述方法包括：预先为各种类型的作业配置监控参数，预先为各种分析项目配置分析参数；在作业运行的过程中，根据所述监控参数，来采集关于该作业的作业运行数据；对所述作业运行数据进行ETL处理，得到关于该作业的待评估数据；根据所述分析参数，来对所述待评估数据进行分析，得到关于被分析的待评估数据所对应的作业的评分。本发明为各大数据作业建立统一的日志规则、日志管理配置、日志格式，进而实现了快速获取作业运行状态、及时发现问题、快速且精准定位异常。

技术领域

本发明涉及大数据作业技术领域，特别是涉及一种大数据作业的状态监测及健康度评估方法、装置。

背景技术

在大数据作业中，当作业出现问题时，往往难以及时的发现并处理。具体的，因数据源、程序逻辑、运行环境等因素，服务器处通常难以全面的了解关于正在运行的作业的工作状态，并且作业的相关信息通常是碎片化的记录在各个调度环节，由此，导致维护人员往往无法提前发现作业问题。

甚至在出现问题后，维护人员还需要登录调度节点来筛选对应的日志文件，再从该日志文件中所记录的大量日志信息中，筛选出相关的异常信息，由此导致问题排查流程繁杂，耗时较长。

由此可见，在大数据作业中，如何快速获取作业运行状态、及时发现问题、快速且精准定位异常，是本领域亟需解决的问题。

ETL(Extract-Transform-Load)，指的是将业务系统(或其它来源端)的数据进行抽取(Extract)、转换(Transform)后加载(Load)到数据仓库(或其它目的端)，目的是将企业中分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。

发明内容

本发明解决的技术问题是：在大数据作业中，如何快速获取作业运行状态、及时发现问题、快速且精准定位异常。

为了解决上述技术问题，本发明实施例提供一种大数据作业的状态监测及健康度评估方法，包括：

预先为各种类型的作业配置监控参数，预先为各种分析项目配置分析参数；

在作业启动时，获取该作业的作业信息，根据所述作业信息，来获取该作业的作业类型所对应的监控参数；

在作业运行的过程中，根据所述监控参数，来采集关于该作业的作业运行数据；

对所述作业运行数据进行ETL处理，得到关于该作业的待评估数据；

根据所述分析参数，来对所述待评估数据进行分析，得到关于被分析的待评估数据所对应的作业的评分。

可选的，大数据作业的状态监测及健康度评估方法还包括：根据所述作业信息和监控参数/分析参数，来生成该作业在运行过程中的标识，不同的作业具有不同的标识，该标识作用于作业调度节点的开始位置和结束位置，以实现作业与调度环境之间的关联。

可选的，所述作业信息包括：该作业的基本信息和补充信息；其中，所述补充信息由该作业的作业类型和业务需要来确定。

可选的，所述监控参数包括：该作业类型的作业的状态上报频率、容错机制和报警机制。

可选的，在所述获取该作业的作业类型所对应的监控参数之后，还包括：根据获取的该作业的作业信息、以及该作业类型所对应的监控参数，来创建关于该作业的信息采集线程。

可选的，所述在作业运行的过程中，根据所述监控参数，来采集关于该作业的作业运行数据包括：根据预先配置的启动参数和监控参数来启动数据采集模块，所述数据采集模块周期性的监控各作业是否运行，若发现存在正在运行的作业，则根据该作业的作业类型，来获取该作业的作业类型所对应的监控参数，根据所述监控参数，来采集关于该作业的作业运行数据。