[发明专利]一种基于触发器的数据增量抽取方法

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于触发器的数据增量抽取方法。

背景技术

数据仓库ETL(Extract-Transformation-Load)包括数据的抽取、转换、加载，其中：①数据抽取：从源数据源系统抽取目的数据源系统需要的数据：②数据转换：将从源数据源获取的数据按照业务需求，转换成目的数据源要求的形式，并对错误、不一致的数据进行清洗和加工；③数据加载：将转换后的数据装载到目的数据源。在ETL的3个环节中，数据抽取直接面对各种分散、异构的数据源，如何保证稳定高效的从这些数据源中提取正确的数据，是ETL设计和实施过程中需要考虑的关键问题之一。在集成端进行数据的初始化时，一般需要将数据源端的全部数据装载进来，这时需要进行全量抽取。全量抽取类似于数据迁移或数据复制，它将数据源中的表或视图的数据全部从数据库中抽取出来，再进行后续的转换和加载操作。全量抽取可以使用数据复制、导入或者备份的方式完成，实现机制比较简单。全量抽取完成后，后续的抽取操作只需抽取自上次抽取以来表中新增或修改的数据，这就是增量抽取。而增量抽取的难点之一在于实现变化数据的捕获机制，也即是说要有这样一种机制能够保证在数据源数据有变化的时候能够区分出这些变化的新数据和旧数据，这样我们才能够增量的抽取这些变化了的数据，而无需为了保证数据的同步每次都做全量的抽取。

在数据库仓库中，无论是全量抽取还是增量抽取，抽取工作一般由数据仓库 工具来完成，如oracle的OWB，Sql Server的Integration Services以及专业的ETL商业产品Informatica PowvrCenter等。这些工具都有一个特点，就是本身并没有实现特定的增量抽取机制，它们完成全量抽取后，用户可以通过定制计划任务的方式，实现按一定的周期从源系统中抽取当前周期内产生的增量数据，但至于这些增量数据如何产生，工具并没有提供自动生成增量数据的功能。所以，ETL过程中增量数据的产生机制是一个需要用户重点研究和选择的问题。

发明内容

本发明为克服现有技术中存在的不足之处，目的在于提供一种基于触发器的数据增量抽取方法，该方法将业务系统中的变化数据按一定的频率准确地捕获到，同时不能对业务系统造成太大的压力，影响现有业务。同时，用户可以通过定制计划任务的方式，实现按一定的周期从源系统中抽取当前周期内产生的增量数据，或者可以通过采用系统提供的实时检测变化数据的方式，实现实时数据同步的能力，成功地解决了现有技术中存在的问题。

本发明是通过以下技术方案达到上述目的：一种基于触发器的数据增量抽取方法，包括如下步骤：

1)确定数据来源表作为抽取表；

2)定义暂存抽取表中数据变化的中间表；

3)定义针对抽取表数据发生变化规则的触发器；

4)探测抽取表是否有数据变化，建立的触发器将变化数据捕获到中间表中；

5)启动数据交换任务的执行，ETL增量抽取进程根据中间表记载的变化数据，从抽取表中提取对应的完整记录，对目标表进行相应的处理。

6)执行完任务，将一个游标存放当前中间表中最新更新时间，确定每次抽 取的起始游标；

7)定时删除中间表已处理过的临时数据。

作为优选，步骤5)所述的启动数据交换任务的执行可通过手工启动方式、定时调度方式及实时监控数据变化并启动的方式进行。

作为优选，中间表存储抽取表名称、更新的关键字值和更新操作类型。

作为优选，中间表关键字段需要建立索引。

本发明的有益效果：本发明提供一种变化数据的捕获机制，也即是说这种机制能够保证在数据源数据有变化的时候能够区分出这些变化的新数据和旧数据，增量的抽取这些变化了的数据，而无需为了保证数据的同步每次都做全量的抽取。

本发明对所有有触发器机制的数据库都适用，除了创建触发器及中间表的逻辑因数据库的不同而不同以外，主干抽取逻辑都一致，代码的可复用程度高，数据抽取的性能较高。

附图说明

图1是数据增量抽取的处理流程图；

图2是实施例1中增量抽取设置栏的示意图。

具体实施方式

实施例1：下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：