[发明专利]任务监控方法、装置、电子设备及存储介质在审
申请号: | 202010151372.X | 申请日: | 2020-03-06 |
公开(公告)号: | CN111400130A | 公开(公告)日: | 2020-07-10 |
发明(设计)人: | 戴文鹏 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F11/30 | 分类号: | G06F11/30;G06F9/54;G06F16/22;G06F16/2455;G06F16/27 |
代理公司: | 深圳市沃德知识产权代理事务所(普通合伙) 44347 | 代理人: | 高杰;于志光 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 任务 监控 方法 装置 电子设备 存储 介质 | ||
1.一种任务监控方法,其特征在于,所述方法包括:
当接收到待监控任务时,将所述待监控任务输入至任务系统;
同步所述任务系统中与所述待监控任务相关的预设种类的信息至项目任务监控平台;
在所述项目任务监控平台,基于Spark Streaming框架对所述信息进行实时处理,得到任务数据,显示并存储所述任务数据;
当接收到对所述待监控任务的监控指令时,从所述监控指令中获取所述待监控任务的参数信息;
根据所述参数信息在所述任务数据中进行查询,得到所述待监控任务的当前运行数据及历史运行数据;
计算所述当前运行数据与所述历史运行数据的差异值;
当所述差异值大于配置阈值时,确定所述待监控任务异常。
2.如权利要求1所述的任务监控方法,其特征在于,所述同步所述任务系统中与所述待监控任务相关的预设种类的信息至项目任务监控平台,包括:
当所述信息为指定任务的运行信息时,利用哈希函数计算所述运行信息的分片号;
基于所述分片号将所述运行信息同步至Kafka消息队列。
3.如权利要求2所述的任务监控方法,其特征在于,所述利用哈希函数计算所述运行信息的分片号,包括:
通过分片函数的计算结果对预设的哈希桶取模,得到所述分片号,其中,所述分片函数如下:
其中,HashBucket为所述预设的哈希桶,sliceid是指所述运行信息的分片号,是指按照名称分布时所述运行信息的量化函数,daytime(time)是指按照时间分布时所述运行信息的量化函数,b1是指按照名称分布时相邻信息间的分散程度,b2是指按照时间分布时相邻信息间的分散程度,w1是指按照名称分布时的未标准化权重,w2是指按照时间分布时的未标准化权重。
4.如权利要求3所述的任务监控方法,其特征在于,所述方法还包括:
设置w2为0,以按照名称将所述运行信息同步至所述Kafka消息队列;或者
设置w1为0,以按照时间将所述运行信息同步至所述Kafka消息队列。
5.如权利要求1所述的任务监控方法,其特征在于,所述同步所述任务系统中与所述待监控任务相关的预设种类的信息至项目任务监控平台,还包括:
采用Elasticsearch从所述任务系统中查询Java微服务的日志信息;
基于Logstash对所述日志信息进行分析及过滤;
采用Kibana对分析及过滤后的日志信息进行可视化处理;
基于Logstash同步可视化处理后的日志信息至所述项目任务监控平台。
6.如权利要求1所述的任务监控方法,其特征在于,所述根据所述参数信息在所述任务数据中进行查询,得到所述待监控任务的当前运行数据及历史运行数据,包括:
当所述任务数据存储在数据库中时,基于预设词典构建ES搜索引擎;
基于所述ES搜索引擎,根据所述参数信息在所述数据库中进行查询,得到所述待监控任务的当前运行数据及历史运行数据。
7.如权利要求6所述的任务监控方法,其特征在于,所述基于所述ES搜索引擎,根据所述参数信息在所述数据库中进行查询,得到所述待监控任务的当前运行数据及历史运行数据,包括:
在所述ES搜索引擎下的多个配置字典中遍历所述参数信息,得到索引信息;
根据所述索引信息在所述数据库中进行查询,得到所述待监控任务的当前运行数据及历史运行数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010151372.X/1.html,转载请声明来源钻瓜专利网。