[发明专利]一种基于触发器的数据增量抽取方法

摘要

本发明涉及数据处理技术领域，尤其涉及一种基于触发器的数据增量抽取方法，该方法将业务系统中的变化数据按一定的频率准确地捕获到，同时不能对业务系统造成太大的压力，影响现有业务。同时，用户可以通过定制计划任务的方式，实现按一定的周期从源系统中抽取当前周期内产生的增量数据，或者可以通过采用系统提供的实时检测变化数据的方式，实现实时数据同步的能力。本发明的有益效果：本发明提供一种变化数据的捕获机制，也即是说这种机制能够保证在数据源数据有变化的时候能够区分出这些变化的新数据和旧数据，增量的抽取这些变化了的数据，而无需为了保证数据的同步每次都做全量的抽取。

主权项

一种基于触发器的数据增量抽取方法，其特征在于包括如下步骤1)确定数据来源表作为抽取表；2)定义暂存抽取表中数据变化的中间表；3)定义针对抽取表数据发生变化规则的触发器；4)探测抽取表是否有数据变化，建立的触发器将变化数据捕获到中间表中；5)启动数据交换任务的执行，ETL增量抽取进程根据中间表记载的变化数据，从抽取表中提取对应的完整记录，对目标表进行相应的处理；6)执行完任务，将一个游标存放当前中间表中最新更新时间，确定每次抽取的起始游标；7)定时删除中间表已处理过的临时数据。