[发明专利]基于大数据平台的HIVE任务调度方法、装置、设备及存储介质

摘要

本发明公开了一种基于大数据平台的HIVE任务调度方法、装置、设备及存储介质。该方法包括：获取客户端发送的原始HIVE任务，基于原始HIVE任务中的启动文件触发日志程序，获取任务日志表；从待处理HIVE任务中获取目标HIVE任务；采用配置文件读取工具读取目标HIVE任务中的配置文件；若读取成功，则获取目标HIVE任务中的配置文件包含的前置任务标识和自身任务标识；若前置任务日志中携带与前置任务标识相对应的任务完成标签，则前置任务标识对应的前置HIVE任务成功完成，执行目标HIVE任务中的业务文件；若业务文件执行成功，则生成任务完成标签，将任务完成标签与自身任务标识关联存储到与目标HIVE任务相对应的目标任务日志中。该方法可提高HIVE任务执行的效率。

主权项

1.一种基于大数据平台的HIVE任务调度方法，其特征在于，包括：获取客户端发送的原始HIVE任务，所述原始HIVE任务包括启动文件、配置文件和业务文件；基于所述原始HIVE任务中的启动文件触发日志程序，获取任务日志表，所述任务日志表包括至少一个待处理HIVE任务，每一待处理HIVE任务对应一任务处理时间；基于每一所述待处理HIVE任务对应的任务处理时间，从至少一个所述待处理HIVE任务中获取目标HIVE任务；采用配置文件读取工具读取所述目标HIVE任务中的配置文件；若读取成功，则获取所述目标HIVE任务中的配置文件包含的前置任务标识和自身任务标识；基于所述前置任务标识查询所述任务日志表，获取与所述前置任务标识相对应的前置任务日志；若所述前置任务日志中携带与所述前置任务标识相对应的任务完成标签，则所述前置任务标识对应的前置HIVE任务成功完成，执行所述目标HIVE任务中的业务文件；若所述业务文件执行成功，则生成任务完成标签，将所述任务完成标签与所述自身任务标识关联存储到与所述目标HIVE任务相对应的目标任务日志中。