[发明专利]大数据的任务调度方法和系统有效
申请号: | 201811308063.8 | 申请日: | 2018-11-05 |
公开(公告)号: | CN109684053B | 公开(公告)日: | 2023-08-01 |
发明(设计)人: | 方秋水;刘强;何建兵;陈卫国;吴金成;罗鸣鸣;冷梦甜 | 申请(专利权)人: | 广东岭南通股份有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;H04L67/02 |
代理公司: | 广州市越秀区哲力专利商标事务所(普通合伙) 44288 | 代理人: | 杨艳;韩丹 |
地址: | 510110 广东省广州*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 任务 调度 方法 系统 | ||
1.一种大数据的任务调度方法,其特征在于,其包括以下步骤:
根据任务类型创建任务模板;
选择任务模板以及任务调度服务编号创建任务,形成配置文件,创建的任务包括任务名称、任务内容以及任务执行周期,所述任务内容通过kv值的方式配置,通过kv文件格式建立任务之间的依赖关系;
读取所述任务,生成任务实例,获取任务执行过程信息;
所述读取所述任务,生成任务实例,获取任务执行过程信息,包括:
根据所述任务实例生成任务执行列表;
对所述任务执行列表进行监控,当任务满足触发条件时,执行所述任务;
所述根据所述任务实例生成任务执行列表,包括:
读取所述配置文件,获取任务检查的间隔时间和任务生成时间范围;
找出下一次执行时间和当前时间之间间隔在任务生成时间范围内的所有任务状态为待检查任务和作业执行时间,所述待检查任务为未生成任务执行列表的任务;
根据所述待检查任务的任务名称、任务内容以及任务执行周期生成任务执行列表,所述任务执行列表包括任务名称、任务执行时间和任务优先级;
更新所述待检查任务的状态,将所述待检查任务的状态更新为任务作业已生成;
所述对所述任务执行列表进行监控,当任务满足触发条件时,执行所述任务,包括:
根据任务检查的间隔时间检测出待检查任务,以生成任务执行列表;
以预设间隔循环检查所述任务执行列表中的任务执行时间,如果当前时间满足任务执行时间,则:
创建任务执行子线程,根据任务内容的任务类型调用不同的任务类型模块,读取任务内容;对任务内容的参数进行分解,生成任务实例,根据所述任务实例执行目标任务;所述目标任务为当前时间满足任务执行时间的任务。
2.如权利要求1所述的大数据的任务调度方法,其特征在于,所述根据任务类型创建任务模板,包括:
设置模板名称,或/和自动生成模板ID;
生成模板数据项,根据任务类型对每个模板数据项输入对应的数据项值及属性。
3.如权利要求1所述的大数据的任务调度方法,其特征在于,所述选择任务模板以及任务调度服务编号创建任务,包括:
创建任务名称,选择调度类型和任务执行周期;
创建任务,根据任务类型选择任务模板,通过kv值的方式配置任务内容;通过kv文件格式建立任务之间的依赖关系。
4.一种大数据的任务调度系统,其特征在于包括:
任务模板创建模块,用于根据任务类型创建任务模板;
任务调度管理模块,用于选择任务模板以及任务调度服务编号创建任务,形成配置文件,创建的任务包括任务名称、任务内容以及任务执行周期,所述任务内容通过kv值的方式配置,通过kv文件格式建立任务之间的依赖关系;
任务执行模块,用于读取所述任务,生成任务实例,获取任务执行过程信息;
所述任务执行模块包括:
第二生成单元,用于根据所述任务实例生成任务执行列表;
触发单元,用于对所述任务执行列表进行监控,当任务满足触发条件时,执行所述任务;
所述第二生成单元包括:
读取子单元,用于读取所述配置文件,获取任务检查的间隔时间和任务生成时间范围;
检测子单元,用于找出下一次执行时间和当前时间之间间隔在任务生成时间范围内的所有任务状态为待检查任务和作业执行时间,所述待检查任务为未生成任务执行列表的任务;
第一生成子单元,用于根据所述待检查任务的任务名称、任务内容以及任务执行周期生成任务执行列表,所述任务执行列表包括任务名称、任务执行时间和任务优先级;
更新子单元,用于更新所述待检查任务的状态,将所述待检查任务的状态更新为任务作业已生成;
所述触发单元包括:
第二生成子单元,用于根据任务检查的间隔时间检测出待检查任务,以生成任务执行列表;
判断子单元,用于以预设间隔循环检查所述任务执行列表中的任务执行时间,如果当前时间满足任务执行时间,则:
执行子单元,用于创建任务执行子线程,根据任务内容的任务类型调用不同的任务类型模块,读取任务内容;对任务内容的参数进行分解,生成任务实例,根据所述任务实例执行目标任务;所述目标任务为当前时间满足任务执行时间的任务。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东岭南通股份有限公司,未经广东岭南通股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811308063.8/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置