[发明专利]任务监控方法及装置

说明书

技术领域

本发明实施例涉及计算机应用技术领域，尤其涉及一种任务监控方法及装置。

背景技术

ETL(extract-transform-load，抽取-转换-装载)用来描述数据从源端经过抽取、转换、加载至目的端的执行过程。

在进行数据分析、使用等数据处理中，数据ETL是不可或缺的关键步骤，数据的及时产出有着很重要的作用。

但是实际应用中，由于存在大量的ETL任务，通常会存在某些ETL任务产出延迟情况，

发明内容

由于实际应用中存在大量ETL(extract-transform-load，抽取-转换-装载)任务，通常会存在ETL任务产出延迟情况，发明人在研究中发现，在进行数据分析或使用等处理时，可能会对应设置多个ETL任务，由于数据处理会例行执行，比如每天都会进行数据ETL，如果可以了解ETL任务的延迟趋势和延迟范围，宏观把握ETL变化趋势，可以及时进行优化，将减少ETL任务产出延迟造成的影响，据此提出了本发明实施例的技术方案，本发明实施例提供了一种任务监控方法及装置，实现了ETL任务的延迟信息自动统计，可以及时有效的获得ETL任务的延迟情况。

本发明的第一方面提供了一种任务监控方法，包括：

确定查询配置信息；

基于所述查询配置信息，查询ETL任务的执行完成情况，并根据所述执行完成情况统计所述ETL任务的延迟信息；

输出所述延迟信息。

可选地，所述延迟信息统计步骤包括：

基于所述查询配置信息，从监控数据库中查询ETL任务的执行完成情况，并根据所述执行完成情况统计所述ETL任务的延迟信息；

其中，所述执行完成情况通过监控所述ETL任务的执行过程获得并写入所述监控数据库中。

可选地，所述延迟信息统计步骤包括：

在任一处理周期中的规定时间，基于所述查询配置信息，查询ETL任务执行完成情况，并根据所述执行完成情况统计所述ETL任务的延迟信息。

可选地，所述输出所述延迟信息包括：

结合对多个处理周期统计获得的延迟信息，生成统计分布图；

输出所述统计分布图。

可选地，所述查询配置信息确定步骤包括：

确定查询语句模板；

将处理对象输入所述查询语句模板，获得所述查询配置信息；其中所述处理对象包括所述监控数据库的库名称、数据表的表名称、所述执行完成情况的字段名称以及统计时间范围。

第二方面，提供了一种任务监控装置，包括：

信息确定模块，用于确定查询配置信息；

信息统计模块，用于基于所述查询配置信息，查询ETL任务的执行完成情况，并根据所述执行完成情况统计所述ETL任务的延迟信息；

信息输出模块，用于输出所述延迟信息。

可选地，所述信息统计模块具体用于：

基于所述查询配置信息，从监控数据库中查询ETL任务的执行完成情况，并根据所述执行完成情况统计所述ETL任务的延迟信息；

其中，所述执行完成情况通过监控所述ETL任务的执行过程获得并写入所述监控数据库中。

可选地，所述信息统计模块具体用于：

在任一处理周期中的规定时间，基于所述查询配置信息，查询ETL任务执行完成情况，并根据所述执行完成情况统计所述ETL任务的延迟信息。

可选地，所述信息输出模块包括：

绘制单元，用于结合对多个处理周期统计获得的延迟信息，生成统计分布图；

输出单元，用于输出所述统计分布图。

可选地，所述信息确定模块具体用于：

确定查询语句模板；

将处理对象输入所述查询语句模板，获得所述查询配置信息；其中所述处理对象包括所述监控数据库的库名称、数据表的表名称、所述执行完成情况的字段名称以及统计时间范围。

本发明实施例中，通过确定查询配置信息，基于查询配置信息即可以自动查询ETL任务的执行完成情况，并根据所述执行完成情况统计所述ETL任务的延迟信息，输出该延迟信息，以方便用户查看，及时获知ETL任务的延迟信息，本发明实施例实现了ETL任务的延迟信息的自动统计，可以及时有效的获得ETL任务的延迟情况。

本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明