[发明专利]基于模型的作业监控方法、装置、计算机设备和存储介质

说明书

本申请涉及人工智能技术领域，提供一种基于模型的作业监控方法、装置、计算机设备和存储介质，方法包括：在作业成功启动后，为作业注册指标监控服务；在完成为作业注册指标监控服务后，获取与作业对应的URL地址；将URL地址注册至预设注册中心；调用预设监控模块对预设注册中心进行访问，获取预设注册中心存储的URL地址，并基于URL地址拉取与URL地址对应的作业的监控指标数据；基于预设的告警预测模型对监控指标数据进行预测处理，生成对应的告警预测结果；对监控指标数据与告警预测结果进行展示。本申请能提高作业的监控指标数据的采集效率。本申请还可以应用于区块链领域，上述监控指标数据等数据可以存储于区块链上。

技术领域

本申请涉及人工智能技术领域，具体涉及一种基于模型的作业监控方法、装置、计算机设备和存储介质。

背景技术

实时数据处理是大数据行业十分重要的领域，它颠覆了传统批处理的高延时，高吞吐特点，实现了数据实时获取，实时计算，实时展示的能力。构建实时数据处理平台也已成为各大互联网企业的长期规划。由于实时作业具有无界，连续计算的特点，作业一旦提交集群运行后会持续运行，开发人员很难发现其内部的实际情况，也无法实时查看所有Task日志，作业计算是快或是慢或是否异常，无从得知。因此必须构建作业监控系统来实时获取作业状态，才能保证实时数据处理平台的长期稳定运行。

目前Flink作业监控的通用方案是通过收集作业报告的Metrics数据，利用Prometheus时序数据库存储，Granfa进行展示实现。其中，能否成功收集作业的Metrics数据是Flink作业监控至关重要的一环。但是目前利用Prometheus收集Metrics数据的方式存在诸多问题，无法很好投入到实际的生产环境。现有的作业监控方案通常会使用两种方式进行Metrics数据的收集：第一种方式是，由Prometheus直接拉取Flink作业指定端口的Metrics数据。该方式缺陷是当启动新的作业时，注册的端口都要手动编辑到Prometheus配置中，重新加载后才能生效，尤其是当作业并行度高时，需要手动注册的端口的数量会很多，需要耗费较大的人力与时间，进而导致指标数据的收集效率较低。第二种方式是使用Pushgateway方式进行作业的Metrics数据收集，将Metrics数据推送到Pushgateway后由Prometheus拉取。但由于Pushgateway无法自动清理推送的Metrics数据，随着启动作业的数量增加，Pushgateway所在节点内存使用率会逐渐增加直至内存溢出，最终该进程被系统强制关闭。所以这种方式仅适合用于作业数量较少的监控场景，作业监控的智能性较低。

发明内容

本申请的主要目的为提供一种基于模型的作业监控方法、装置、计算机设备和存储介质，旨在解决现有的作业监控方案存在指标数据的收集效率较低且智能性较低的技术问题。

本申请提出一种基于模型的作业监控方法，所述方法包括步骤：

在作业成功启动后，为所述作业注册指标监控服务；其中，所述作业的数量包括多个；

在完成为所述作业注册指标监控服务后，获取与所述作业对应的URL地址；

将所述URL地址注册至预设注册中心上；

调用预设监控模块对所述预设注册中心进行访问，获取所述预设注册中心存储的所述URL地址，并基于所述URL地址拉取与所述URL地址对应的作业的监控指标数据；

基于预设的告警预测模型对所述监控指标数据进行预测处理，生成与所述监控指标数据对应的告警预测结果；

对所述监控指标数据与所述告警预测结果进行展示。

可选地，所述基于预设的告警预测模型对所述监控指标数据进行预测处理，生成与所述监控指标数据对应的告警预测结果的步骤，包括：

获取与指定作业对应的监控指标数据；其中，所述指定作业为所有所述作业中的任意一个，将所述指定作业对应的监控指标数据记为指定监控指标数据；