[发明专利]一种关系型数据库之间的ETL调度方法及装置

说明书

本发明实施例提供一种关系型数据库之间的ETL调度方法及装置，其中所述方法包括，任务调度单元在第一设定时间读取调度任务信息配置表，其中，数据抽取单元实时监听作业信息配置表，获取当前时间的作业任务的作业信息，根据作业信息中作业任务的调度结构化查询语句、以及作业任务对应的源数据库中需要过滤的时间范围，生成该作业任务的执行结构化查询语句并执行所述执行结构化查询语句，从指定的源数据库中获取相应数据；数据转换单元将数据抽取单元获取的相应数据转换为预设的数据格式后传递给数据导出单元；数据导出单元将接收到的数据导出到目标数据库中。根据本技术方案，通过关系型数据库中的结构化查询语言SQL实现关系型数据库之间的ETL调度。

技术领域

本发明涉及数据处理领域，具体涉及一种关系型数据库之间的ETL调度方法及装置。

背景技术

一般场景下的ETL(Extract-Transform-Load)是指在构建业务应用数据过程中的对各种数据的抽取(Extract)、转换(Transform)、加载(Load)，最终完成对原始数据的提取并将目标的数据存储下来的过程。

在涉及到异构，即不同的数据库类型的关系型数据库的情况下，使用以下方式：

(1)配置中心方法，包括主控制单元、数据加载单元、数据处理单元以及数据导出单元。主控制单元根据配置中心的任务周期定期加载配置中心的任务配置传递给数据加载单元，数据加载单元支持多种类型数据库的数据处理，根据配置中心的源数据库配置读取数据并转换为统一的数据格式供数据处理单元处理，数据处理单元根据配置中心配置的处理方法将数据进行处理，最终将处理后的结果交给数据导出单元根据配置中心的目标数据库配置写入对应的数据库中。

(2)多套执行逻辑，每个ETL任务形成一个单独的执行过程，由开发人员根据需求开发独立的程序实现。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

(1)配置中心方法仅限于对当前时间的数据处理，无法用于历史数据的补调，并且当配置中心相关配置调整时，历史数据无法作出相关调整。

(2)多套执行逻辑这种方法各任务单独存在，各程序模块复用程度低，各进程独立存在会造成资源浪费且缺乏统一的管理。因任务由开发人员独立开发，因此任务修改成本大，并且同样无法解决关于历史数据补调和调度任务修改的问题。

发明内容

本发明实施例提供一种关系型数据库之间的ETL调度方法及装置，通过关系型数据库中的结构化查询语言SQL(Structured Query Language)实现关系型数据库之间的ETL调度。

为达到上述目的，一方面，本发明实施例提供了一种关系型数据库之间的ETL调度方法，所述方法包括：

任务调度单元在第一设定时间读取调度任务信息配置表，其中，所述调度任务信息配置表包括每一条作业任务的调度周期和调度结构化查询语句；

根据调度任务信息配置表生成第二设定时间段的每一条作业任务的作业信息，并将所述作业信息写入作业信息配置表中；其中作业任务的作业信息包括：作业任务的调度结构化查询语句、以及作业任务对应的源数据库中需要过滤的时间范围，所述时间范围根据作业任务的调度周期生成；

数据抽取单元实时监听所述作业信息配置表，获取当前时间的作业任务的作业信息，根据作业信息中作业任务的调度结构化查询语句、以及作业任务对应的源数据库中需要过滤的时间范围，生成该作业任务的执行结构化查询语句并执行所述执行结构化查询语句，从指定的源数据库中获取相应数据；

数据转换单元将数据抽取单元获取的相应数据转换为预设的数据格式后传递给数据导出单元；

数据导出单元将接收到的数据导出到作业任务的作业信息指定的目标数据库中。