[发明专利]一种job控制方法及装置

说明书

本发明公开了一种job控制方法及装置，该方法包括：针对接入大数据平台的每个数据源，根据kafka消息队列中保存的每个数据源的状态信息，识别是否每个数据源都处于停止状态；如果是，关闭解析job和/或入库job。由于在本发明实施例中，根据kafka消息队列中保存的每个数据源的状态信息，识别是否每个数据源都处于停止状态，如果是，关闭解析job和/或入库job，节约了处理资源，减少了用户的损失。

技术领域

本发明涉及数据分析技术领域，特别涉及一种作业job控制方法及装置。

背景技术

随着科学的进步，时代的发展，数据量增涨呈现爆炸态势，每几年就会翻一番。大量的数据中包含着诸多有价值的信息，上至国家经济走向、发展趋势，下至每个网关传输的数据是否正常，因此，大数据处理平台应运而生。大数据处理平台中的数据是由不同的数据源产生的，针对每个数据源，运行解析作业(job)和入库job，从而对该数据源产生的数据进行解析入库操作，解析入库后的数据可供大数据处理平台中的数据分析、数据挖掘应用进行数据的分析和挖掘，从中找出用户需要的信息，为用户的决策、制定发展战略等提供支持。

然而，现有技术中如果存在接入的数据源，无论该数据源是否处于启动状态，解析job和/或入库job一直处于运行状态，造成处理资源的浪费，给用户带来了损失。

发明内容

本发明提供一种job控制方法及装置，用以解决现有技术中无论数据源是否处于启动状态，对应的解析job和/或入库job一直处于运行状态，造成处理资源的浪费的问题。

为达到上述目的，本发明实施例公开了一种作业job控制方法，所述方法包括：

针对接入大数据平台的每个数据源，根据kafka消息队列中保存的每个数据源的状态信息，识别是否每个数据源都处于停止状态；

如果是，关闭解析job和/或入库job。

进一步地，所述方法还包括：

根据kafka消息队列中保存的每个数据源的状态信息，识别是否存在处于启动状态的数据源；

如果是，开启解析job和/或入库job。

进一步地，如果当前存在处于启动状态的数据源，所述方法还包括：

判断解析job和/或入库job是否针对该数据源发送的数据进行解析和/或入库操作；

如果否，控制解析job和/或入库job对该数据源发送的数据进行解析和/或入库操作。

进一步地，所述控制解析job和/或入库job对该数据源发送的数据进行解析和/或入库操作包括：

重启所述解析job和/或入库job，采用重启后的解析job和/或入库job对处于启动状态的数据源发送的数据进行解析和/或入库操作。

进一步地，所述根据kafka消息队列中保存的每个数据源的状态信息，识别是否每个数据源都处于停止状态之前，所述方法还包括：

根据用户对每个数据源启动或停止的设置指令，生成每个数据源对应的状态信息保存到所述kafka消息队列中。

本发明实施例公开了一种作业job控制装置，所述装置包括：

识别模块，用于针对接入大数据平台的每个数据源，根据kafka消息队列中保存的每个数据源的状态信息，识别是否每个数据源都处于停止状态；

关闭模块，用于如果识别模块识别到每个数据源都处于停止状态，关闭解析job和/或入库job。

进一步地，所述识别模块，还用于根据kafka消息队列中保存的每个数据源的状态信息，识别是否存在处于启动状态的数据源；