[发明专利]一种job控制方法及装置有效
申请号: | 201611265980.3 | 申请日: | 2016-12-31 |
公开(公告)号: | CN106775989B | 公开(公告)日: | 2019-07-02 |
发明(设计)人: | 何彪;郑钧元 | 申请(专利权)人: | 北京神州绿盟信息安全科技股份有限公司;北京神州绿盟科技有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/54 |
代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 黄志华 |
地址: | 100089 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 job 控制 方法 装置 | ||
1.一种作业job控制方法,其特征在于,所述方法包括:
针对接入大数据平台的每个数据源,根据kafka消息队列中保存的每个数据源的状态信息,识别是否每个数据源都处于停止状态;
如果是,关闭解析job和/或入库job。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
根据kafka消息队列中保存的每个数据源的状态信息,识别是否存在处于启动状态的数据源;
如果是,开启解析job和/或入库job。
3.如权利要求1所述的方法,其特征在于,如果当前存在处于启动状态的数据源,所述方法还包括:
判断解析job和/或入库job是否针对该数据源发送的数据进行解析和/或入库操作;
如果否,控制解析job和/或入库job对该数据源发送的数据进行解析和/或入库操作。
4.如权利要求3所述的方法,其特征在于,所述控制解析job和/或入库job对该数据源发送的数据进行解析和/或入库操作包括:
重启所述解析job和/或入库job,采用重启后的解析job和/或入库job对处于启动状态的数据源发送的数据进行解析和/或入库操作。
5.如权利要求1所述的方法,其特征在于,所述根据kafka消息队列中保存的每个数据源的状态信息,识别是否每个数据源都处于停止状态之前,所述方法还包括:
根据用户对每个数据源启动或停止的设置指令,生成每个数据源对应的状态信息保存到所述kafka消息队列中。
6.一种作业job控制装置,其特征在于,所述装置包括:
识别模块,用于针对接入大数据平台的每个数据源,根据kafka消息队列中保存的每个数据源的状态信息,识别是否每个数据源都处于停止状态;
关闭模块,用于如果识别模块识别到每个数据源都处于停止状态,关闭解析job和/或入库job。
7.如权利要求6所述的装置,其特征在于,所述识别模块,还用于根据kafka消息队列中保存的每个数据源的状态信息,识别是否存在处于启动状态的数据源;
所述装置还包括:
开启模块,用于如果所述识别模块识别到当前存在处于启动状态的数据源,开启解析job和/或入库job。
8.如权利要求6所述的装置,其特征在于,所述装置还包括:
判断模块,用于如果当前存在处于启动状态的数据源,判断解析job和/或入库job是否针对该数据源发送的数据进行解析和/或入库操作;
控制模块,用于如果判断模块的判断结果为否,控制解析job和/或入库job对该数据源发送的数据进行解析和/或入库操作。
9.如权利要求8所述的装置,其特征在于,所述控制模块,具体用于重启所述解析job和/或入库job,采用重启后的解析job和/或入库job对处于启动状态的数据源发送的数据进行解析和/或入库操作。
10.如权利要求6所述的装置,其特征在于,所述装置还包括:
生成模块,用于根据用户对每个数据源启动或停止的设置指令,生成每个数据源对应的状态信息保存到所述kafka消息队列中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京神州绿盟信息安全科技股份有限公司;北京神州绿盟科技有限公司,未经北京神州绿盟信息安全科技股份有限公司;北京神州绿盟科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611265980.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种数据处理方法及设备
- 下一篇:请求调度方法和装置