[发明专利]用于数据分析流程调度的方法、装置和服务器集群有效
申请号: | 201810534550.X | 申请日: | 2018-05-25 |
公开(公告)号: | CN108763482B | 公开(公告)日: | 2022-05-31 |
发明(设计)人: | 余健伟;张成松;杨帆;胡成伟 | 申请(专利权)人: | 联想(北京)有限公司 |
主分类号: | G06F16/2453 | 分类号: | G06F16/2453;G06F16/2455 |
代理公司: | 中科专利商标代理有限责任公司 11021 | 代理人: | 杨静 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 数据 分析 流程 调度 方法 装置 服务器 集群 | ||
1.一种用于数据分析流程调度的方法,包括:
根据单个业务数据分析流程之间的依赖关系,获取多业务的分析有向流程;
根据预设的调度规则,或者预设的调度规则和预设的依赖规则对所述分析有向流程进行调度,
其中,所述调度规则包括:
第二调度规则:按照设定频率扫描逻辑扫描待执行流程,如果被扫描的待执行流程为无依赖流程且满足调度条件,则调度无依赖流程;如果被扫描的待执行流程为满足调度条件的有依赖流程且没被父流程调度,则调度满足调度条件的有依赖流程;其中,所述调度条件包括:所有父流程执行成功及符合调度时间条件;所述第二调度规则通过以下方式执行:以设定频率扫描待执行流程;如果待执行流程对应的父流程执行成功,则执行待执行流程;如果待执行流程执行不成功,则终止调度;如果待执行流程执行成功、且待执行流程不存在对应的子流程,则终止调度,如果待执行流程执行成功、且待执行流程存在对应的子流程,则扫描子流程直至子流程执行不成功或者子流程执行成功且不存在下一级子流程。
2.根据权利要求1所述的方法,所述调度规则还包括以下任意一种:
第一调度规则:父流程执行后,如果父流程对应的子流程满足调度条件,则进行调度;
外部调度规则:通过外部调用接口触发满足调度条件的流程。
3.根据权利要求1所述的方法,还包括:
在获取多业务的分析有向流程之后,根据调度周期和多业务的分析有向流程获取当前调度周期的分析有向流程。
4.根据权利要求1所述的方法,其中:所述依赖规则包括以下任意一种或多种:
对于重复执行周期,粗粒度执行周期的执行结果依赖细粒度执行周期的执行结果,其中,粒度为执行周期以天为最小周期的执行周期;
对于重复执行周期中每天的流程执行频率,细粒度与粗粒度互相依赖,且粗粒度依赖细粒度时,以粗粒度内的细粒度对应的所有执行结果作为依赖条件,其中,粒度为执行周期以分钟为最小周期、且以天或者执行一次为最大周期的执行周期;
对于重复执行周期的执行和/或每天频率的执行,本身重复执行的依赖为自依赖。
5.根据权利要求2所述的方法,其中:所述第一调度规则通过以下方式执行:
执行父流程;
在父流程执行成功后,如果父流程存在对应的子流程,则在所述子流程符合调度条件和依赖规则时执行子流程,并在子流程执行成功后将该子流程作为父流程,执行父流程直至满足第一终止条件。
6.根据权利要求2所述的方法,其中:所述外部调度规则通过以下方式执行:
外部触发接口触发调度后,如果触发对应的用户合法、且待执行流程为外部流程,则在外部流程符合依赖规则、且外部流程对应的父流程执行成功时,执行外部流程;
终止调度直至满足第二终止条件。
7.一种用于数据分析流程调度的装置,包括:
分析有向流程获取模块,用于根据单个业务数据分析流程之间的依赖关系,获取多业务的分析有向流程;
调度模块,用于根据预设的依赖规则和预设的调度规则对所述分析有向流程进行调度,
其中,所述调度规则包括:
第二调度规则:按照设定频率扫描逻辑扫描待执行流程,如果被扫描的待执行流程为无依赖流程且满足调度条件,则调度无依赖流程;如果被扫描的待执行流程为满足调度条件的有依赖流程且没被父流程调度,则调度满足调度条件的有依赖流程;其中,所述调度条件包括:所有父流程执行成功及符合调度时间条件;所述第二调度规则通过以下方式执行:以设定频率扫描待执行流程;如果待执行流程对应的父流程执行成功,则执行待执行流程;如果待执行流程执行不成功,则终止调度;如果待执行流程执行成功、且待执行流程不存在对应的子流程,则终止调度,如果待执行流程执行成功、且待执行流程存在对应的子流程,则扫描子流程直至子流程执行不成功或者子流程执行成功且不存在下一级子流程。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于联想(北京)有限公司,未经联想(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810534550.X/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置