[发明专利]基于大数据平台的HIVE任务调度方法、装置、设备及存储介质

权利要求书

1.一种基于大数据平台的HIVE任务调度方法，其特征在于，包括：

获取客户端发送的原始HIVE任务，所述原始HIVE任务包括启动文件、配置文件和业务文件；

基于所述原始HIVE任务中的启动文件触发日志程序，获取任务日志表，所述任务日志表包括至少一个待处理HIVE任务，每一待处理HIVE任务对应一任务处理时间；

基于每一所述待处理HIVE任务对应的任务处理时间，从至少一个所述待处理HIVE任务中获取目标HIVE任务；

采用配置文件读取工具读取所述目标HIVE任务中的配置文件；

若读取成功，则获取所述目标HIVE任务中的配置文件包含的前置任务标识和自身任务标识；

基于所述前置任务标识查询所述任务日志表，获取与所述前置任务标识相对应的前置任务日志；

若所述前置任务日志中携带与所述前置任务标识相对应的任务完成标签，则所述前置任务标识对应的前置HIVE任务成功完成，执行所述目标HIVE任务中的业务文件；

若所述业务文件执行成功，则生成任务完成标签，将所述任务完成标签与所述自身任务标识关联存储到与所述目标HIVE任务相对应的目标任务日志中。

2.如权利要求1所述的基于大数据平台的HIVE任务调度方法，其特征在于，在所述采用配置文件读取工具读取所述目标HIVE任务中的配置文件之后，所述基于大数据平台的HIVE任务调度方法还包括：

若读取失败，则生成文件报错信息，终止所述目标HIVE任务，向所述客户端发送基于所述文件报错信息形成的报警信息。

3.如权利要求1所述的基于大数据平台的HIVE任务调度方法，其特征在于，在所述获取与所述前置任务标识相对应的前置任务日志之后，所述基于大数据平台的HIVE任务调度方法还包括：

若所述前置任务日志中未携带与所述前置任务标识相对应的任务完成标签，则所述前置任务标识对应的前置HIVE任务未成功完成，触发事件监听程序，以监听所述前置任务日志的更新数据；

若所述事件监听程序在预设监听期限内未监听到所述更新数据包含与所述前置任务标识相对应的任务完成标签，则生成超时报错信息，终止所述目标HIVE任务，向所述客户端发送基于所述超时报错信息形成的报警信息。

4.如权利要求3所述的基于大数据平台的HIVE任务调度方法，其特征在于，在所述触发事件监听程序，以监听所述前置任务日志的更新数据之后，所述基于大数据平台的HIVE任务调度方法还包括：

若所述事件监听程序在预设监听期限内监听到所述更新数据包含与所述前置任务标识相对应的任务完成标签，则所述前置任务标识对应的前置HIVE任务成功完成，执行所述目标HIVE任务中的业务文件。

5.如权利要求1所述的基于大数据平台的HIVE任务调度方法，其特征在于，在所述执行所述目标HIVE任务中的业务文件之后，所述基于大数据平台的HIVE任务调度方法还包括：

若所述业务文件未执行成功，则更新所述目标HIVE任务的报错次数；

若所述报错次数大于预设次数阈值，则生成重试报错信息，终止所述目标HIVE任务，向所述客户端发送基于所述重试报错信息形成的报警信息。

6.如权利要求5所述的基于大数据平台的HIVE任务调度方法，其特征在于，在所述更新所述目标HIVE任务的报错次数之后，所述基于大数据平台的HIVE任务调度方法还包括：

若所述报错次数不大于预设次数阈值，则重复执行所述目标HIVE任务中的业务文件，直至所述业务文件执行成功或者所述目标HIVE任务的报错次数大于所述预设次数阈值。