[发明专利]一种结合数据校验的ETL调度系统及方法

说明书

本发明提供一种结合数据校验的ETL调度系统及方法，调度并执行ETL JOB；获取所述ETL JOB预先关联的校验数据以供加载；每执行一个ETL JOB前，分别对所述ETL JOB的执行结果及所述ETL JOB中加载的所述校验数据进行校验，进而判断是否执行与所述ETL JOB有依赖关系的ETL JOB，从而能够更加有效地加载数据，不仅节约了宝贵的服务器资源，同时大大提高了ETL调度效率。

技术领域

本发明涉及数据仓库技术领域，特别是涉及一种结合数据校验的ETL调度系统及方法。

背景技术

传统的ETL(Extract-Transform-Load，数据仓库技术)指在构建数据仓库过程中对数据源中数据的抽取(Extract)，经过数据转换(Transform)后加载(Load)到数据仓库的过程。一般情况下，ETL负责系统运行程序的调度控制，但是在调度过程中也不会涉及到数据校验。

当然，也有一些ETL调度过程涉及到数据校验。通常，在ETL调度系统周围部署数据校验系统来实现，且当所有ETL调度系统中所有的ETL JOB(ETL JOB)运行调度完成后，再集中调度数据校验程序，随后获取数据校验结果，生成数据校验报告。

但是在实践过程中，上述调度方式存在很多缺陷，如，在ETL调度过程中，若加载的数据有异常，现有的ETL调度系统中与前一个执行的ETL JOB有依赖关系的下一个ETL JOB仍会继续执行，导致异常数据继续加载到后续的列表中，这种情况一旦发生，异常数据影响范围大，随后需要处理多张有问题的列表来解决这个问题；又如，数据源没有到达，在现有的ETL调度系统中与前一个执行的ETL JOB有依赖关系的下一个ETL JOB同样会继续执行，但是，这种情况下后续ETL JOB的运行变得完全没有意义，不仅浪费宝贵的服务器资源，还降低了ETL调度效率。

从上述情况可知，即使在目前的ETL调度系统中部署了数据校验系统，最终校验出数据问题也已经为时已晚，错误数据已经遍布整个数据仓库，因而急需一种能够解决上述问题的ETL调度系统。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种结合数据校验的ETL调度系统及方法，解决上述现有技术中数据仓库建立过程中因校验不及时而造成错误数据较多的问题。

为实现上述目标及其他相关目标，本发明提供一种结合数据校验的ETL调度系统，包括：ETL调度装置及与所述ETL调度装置连接的数据校验装置；所述ETL调度装置，用于完成所述ETL调度系统中任一ETL JOB的调度及执行，以及与所述数据校验装置之间的数据交互；所述数据校验装置包括：数据接口模块，用于所述数据校验装置与所述ETL调度装置间的校验数据交互，其中，所述校验数据供预先关联的ETL JOB加载；与所述数据接口模块连接的数据校验模块，用于执行所述校验数据的校验；其中，所述ETL调度系统中每执行一个当前ETL JOB前，所述数据校验装置判断所述当前ETL JOB所依赖ETL JOB的执行结果是否成功且判断所述当前ETL JOB所依赖ETLJOB加载的校验数据的校验结果是否成功，来据以执行或不执行所述当前ETLJOB。

可选的，所述ETL调度装置包括：相连的ETL调度控制模块、ETL JOB管理模块、以及数据校验消息模块；所述ETL JOB管理模块，用于管理以及执行所述ETL JOB；所述ETL调度控制模块，用于控制ETL JOB的调度和执行、以及控制校验数据的校验执行；所述数据校验消息模块，用于与所述数据接口模块进行数据交互、调用所述数据接口模块、以及接收数据校验模块的校验结果。

可选的，所述数据校验模块包括：相连的校验配置单元及校验执行单元；所述校验配置单元，用于存储第一配置信息；所述校验执行单元，用于根据所述第一配置信息以执行所述校验数据的校验。

进一步可选的，所述第一配置信息包括：校验数据列表、校验规则列表、所述校验数据列表与所述校验规则列表之间的关系、以及校验数据期数。