[发明专利]基于ETL的任务调度方法、装置、计算机设备及存储介质在审
申请号: | 202310365773.9 | 申请日: | 2023-04-03 |
公开(公告)号: | CN116595072A | 公开(公告)日: | 2023-08-15 |
发明(设计)人: | 于哲敏 | 申请(专利权)人: | 中国平安财产保险股份有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25;G06F9/48 |
代理公司: | 深圳市世联合知识产权代理有限公司 44385 | 代理人: | 汪琳琳 |
地址: | 518000 广东省深圳市福田区益田路*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 etl 任务 调度 方法 装置 计算机 设备 存储 介质 | ||
1.一种基于ETL的任务调度方法,其特征在于,包括下述步骤:
当接收到任务调度指令时,采用任务调度模型配置任务调度的参数类别,并制定与每一任务调度层的上层任务调度层和/或下层任务调度层的依赖关系;
根据所述依赖关系顺序执行所述任务调度层,并在执行所述任务调度层的过程中,将所述上层任务调度层产生的所述参数类别对应的参数数据传递到下层任务调度层;
执行完成所有所述任务调度层后,将所有的参数数据进行汇总并分析,以确定所述任务调度的调度结果。
2.根据权利要求1所述的任务调度方法,其特征在于,所述制定与每一任务调度层的上层任务调度层和/或下层任务调度层的依赖关系的步骤,包括:
制定任务链路;
制定每一任务链路中的每一任务调度层的上层任务调度层和/或下层任务调度层的依赖关系,以及制定每一任务调度层所依赖的上层任务调度层的参数类别。
3.根据权利要求2所述的任务调度方法,其特征在于,所述制定任务链路的步骤,包括:
根据所述任务调度指令确定任务调度所需实现的各功能;
根据所述功能制定对应的所述任务链路。
4.根据权利要求2所述的任务调度方法,其特征在于,所述任务类别包括运行状态、运行时长、任务调度层中任务程序的归属性、每一任务链路中上层任务调度层的消耗以及任务调度层的等级标记;所述将所述上层任务调度层产生的所述参数类别对应的参数数据传递到下层任务调度层的步骤,包括:
在每一任务链路中,所述上层任务调度层根据制定的所述参数类别产生对应的参数数据;
将所述参数数据传递到所述下层任务调度层。
5.根据权利要求1所述的任务调度方法,其特征在于,所述将所有的参数数据进行汇总并分析,以确定所述任务调度的调度结果的步骤包括:
将执行所有任务调度层的异常参数数据进行汇总,获取总体异常参数数据;
判断所述总体异常参数数据是否超过预设的阈值;
若判断的结果为是时,则输出任务优化提醒。
6.根据权利要求5所述的任务调度方法,其特征在于,所述输出任务优化提醒的步骤,包括:
根据所述总体异常参数数据以及所述任务链路的调度任务的层级关系定位异常参数数据产生的任务调度层;
根据所述异常参数数据产生的任务调度层中任务调度程序的归属性确定对应的提醒对象;
将所述异常参数数据产生的任务调度层的异常参数数据发送到所述提醒对象。
7.根据权利要求1所述的任务调度方法,其特征在于,所述采用任务调度模型配置任务调度的参数类别的步骤之前,包括:
将任务调度的源数据存储于源数据库中;
所述将所有的参数数据进行汇总并分析的步骤之后,包括:
将执行所有任务调度层后获取的终端数据传输到应用端数据库中,并通过预设的规则展示。
8.一种基于ETL的任务调度装置,其特征在于,所述任务调度装置包括:
配置模块,用于接收到任务调度指令时,采用任务调度模型配置任务调度的参数类别,并制定与每一任务调度层的上层任务调度层和/或下层任务调度层的依赖关系;
执行模块,用于根据所述依赖关系顺序执行所述任务调度层,并在执行所述任务调度层的过程中,将所述上层任务调度层产生的所述参数类别对应的参数数据传递到下层任务调度层;
分析模块,用于执行完成所有所述任务调度层后,将所有的参数数据进行汇总并分析,以确定所述任务调度的调度结果。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的任务调度方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的任务调度方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国平安财产保险股份有限公司,未经中国平安财产保险股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310365773.9/1.html,转载请声明来源钻瓜专利网。