[发明专利]一种结合数据校验的ETL调度系统及方法

摘要

本发明提供一种结合数据校验的ETL调度系统及方法，调度并执行ETL JOB；获取所述ETL JOB预先关联的校验数据以供加载；每执行一个ETL JOB前，分别对所述ETL JOB的执行结果及所述ETL JOB中加载的所述校验数据进行校验，进而判断是否执行与所述ETL JOB有依赖关系的ETL JOB，从而能够更加有效地加载数据，不仅节约了宝贵的服务器资源，同时大大提高了ETL调度效率。

主权项

1.一种结合数据校验的ETL调度系统，其特征在于，包括：ETL调度装置及与所述ETL调度装置连接的数据校验装置；所述ETL调度装置，用于完成所述ETL调度系统中任一ETL JOB的调度及执行，以及与所述数据校验装置之间的数据交互；所述数据校验装置包括：数据接口模块，用于所述数据校验装置与所述ETL调度装置间的校验数据交互，其中，所述校验数据供预先关联的ETL JOB加载；与所述数据接口模块连接的数据校验模块，用于执行所述校验数据的校验；其中，所述ETL调度系统中每执行一个当前ETL JOB前，所述数据校验装置判断所述当前ETL JOB所依赖ETL JOB的执行结果是否成功且判断所述当前ETL JOB所依赖ETLJOB加载的校验数据的校验结果是否成功，若所述执行结果成功且校验结果成功则执行当前ETLJOB，否则不执行当前ETLJOB。