[发明专利]一种基于Kettle的增量同步数据的方法及终端

说明书

本发明公开了一种基于Kettle的增量同步数据的方法及终端，所述方法包括：在一个数据库表内获取需要进行增量同步的数据库表信息，并记录到Kettle的内存中；若所述数据库表信息存在增量字段，则将增量字段记录到内存中，若所述数据库表信息不存在增量字段，则通过ID记录表完成增量记录；对于有增量字段的表，则直接将数据生成执行的SQL进行保存，对于没有增量字段的表，则按照记录的信息从数据库按ID进行查找，并组成插入SQL；将转换处理好的SQL分布执行，并将出错或者有问题的信息记录进缓存；将缓存中的信息记录到专用的日志库，并且更新统计信息表。本发明通过体系化进行增量同步，以适配所有增量同步的情况，使得增量同步更加体系化和智能化。

技术领域

本发明涉及数据同步技术领域，尤其涉及一种基于Kettle的增量同步数据的方法、终端及计算机可读存储介质。

背景技术

数据库(Database)是按照数据结构来组织、存储和管理数据的仓库，它产生于距今六十多年前，随着信息技术和市场的发展，特别是二十世纪九十年代以后，数据管理不再仅仅是存储和管理数据，而转变成用户所需要的各种数据管理的方式。数据库有很多种类型，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。

ETL(Extract-Transform-Load，数据仓库技术)是用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据，ETL是BI(商业智能)项目重要的一个环节。

增量同步和全量同步是数据库同步的两种方式。全量同步是一次性同步全部数据，增量同步则只同步两个数据库不同的部分。许在很多企业使用ETL的过程中增量同步都是避免不开的问题，比起全量同步数据，增量同步能够减少同步的数据量，减轻服务器的压力和数据库的写入压力，但是在现有的增量同步方法有很多的人工介入的部分，往往都是不够体系化，不够智能化。

因此，现有技术还有待于改进和发展。

发明内容

本发明的主要目的在于提供一种基于Kettle的增量同步数据的方法、终端及计算机可读存储介质，旨在解决现有技术中增量同步方法有很多的人工介入的部分，往往都是不够体系化，不够智能化的问题。

为实现上述目的，本发明提供一种基于Kettle的增量同步数据的方法，所述基于Kettle的增量同步数据的方法包括如下步骤：

在一个数据库表内获取需要进行增量同步的数据库表信息，并将获取的所述数据库表信息记录到Kettle的内存中；

若所述数据库表信息存在增量字段，则将增量字段记录到内存中，若所述数据库表信息不存在增量字段，则通过ID记录表完成增量记录，并将ID记录表和源数据表的ID进行连接得到未同步过数据的ID，存入内存；

对于有增量字段的表，则直接将数据生成执行的SQL进行保存，对于没有增量字段的表，则按照记录的信息从数据库按ID进行查找，并组成插入SQL；

将转换处理好的SQL分布执行，并将出错或者有问题的信息记录进缓存；

将缓存中的信息记录到专用的日志库，并且更新统计信息表。

可选地，所述的基于Kettle的增量同步数据的方法，其中，所述在一个数据库表内获取需要进行增量同步的数据库表信息，具体为：

通过表获取.ktr在一个数据库表内获取需要进行增量同步的数据库表信息。

可选地，所述的基于Kettle的增量同步数据的方法，其中，所述数据库表信息包括：数据库名、是否有增量字段、增量字段名、增量字段类型和增量字段最新值。