[发明专利]一种调度依赖的方法、装置、设备以及存储介质

说明书

本发明公开一种利用调度表实现调度依赖的方法、装置、设备以及存储介质。所述方法包括：预先设置一个调度表，所述调度表中设置了生成目标Hive表之前作为条件需要生成的前置任务表；在生成目标Hive表之前，查询所述调度表中所述前置任务表的执行状态；在所述前置任务表的执行状态为执行成功的情况下，则生成目标Hive表。本发明公开的一种利用调度表实现调度依赖的方法可以在生成Hive表时轻易实现统一调度、调度进程连贯有序、安全性高。

技术领域

本发明涉及数据仓库技术领域、尤其涉及一种利用调度表实现调度依赖的方法、装置、设备以及存储介质。

背景技术

Hadoop和Hive是目前业界广泛使用的数据存储以及查询的分布式解决方案。Hive，是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql(Structured Query Language，结构化查询语言)查询功能，可以将sql语句转换为MapReduce(映射化简)任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

在数据中，Hive表的生成是有前后顺序的，每个表要生成之前，可以通过监控得到的表生成情况，决定是不是可以生成下一个表，每一个Hive表可能作为生成其他Hive表的条件，通常具有复杂的表间关系，难以实现统一调度，如果仅仅根据主键和外键之间的依赖关系进行调度，可能会导致进程的不连续和阻滞，安全性低。

发明内容

本发明的主要目的是提供一种利用调度表实现调度依赖的方法、装置、设备以及存储介质，旨在解决现有技术在生成Hive表时难以实现统一调度，调度进程的不连续和阻滞，安全性低。

为实现上述目的，本发明提供一种利用调度表实现调度依赖的方法，包括：

预先设置一个调度表，所述调度表中设置了生成目标Hive表之前作为条件需要生成的前置任务表；

在生成目标Hive表之前，查询所述调度表中所述前置任务表的执行状态；

在所述前置任务表的执行状态为执行成功的情况下，则生成目标Hive表。

优选地，所述预先设置一个调度表的步骤之前，所述方法还包括：

在Hive的元数据库中获取各Hive表之间的生成依赖关系；

将所述获取各Hive表之间的生成依赖关系记录在所述调度表中；以及

获取各Hive表和数据仓库中数据的依赖关系。

优选地，所述获取各Hive表和数据仓库中数据的依赖关系的步骤包括：

调用Hive表应用端的API接口，提取生成各Hive表的SQL语句；

针对所述各Hive表，解析所述对应的SQL语句得到对应的数据表；

根据所述对应的数据表确定数据仓库中对应的数据，得到所述各Hive表所依赖的数据仓库的数据。

优选地，所述在生成目标Hive表之前，查询所述调度表中所述前置任务表的执行状态的步骤，包括：

在生成目标Hive表之前，查询所述调度表中所述生成目标Hive表之前作为条件需要生成的前置任务表是否均执行完毕。

优选地，所述在所述前置任务表的执行状态为执行成功的情况下，则生成目标Hive表的步骤包括：