[发明专利]一种基于Kettle的增量同步数据的方法及终端

权利要求书

1.一种基于Kettle的增量同步数据的方法，其特征在于，所述基于Kettle的增量同步数据的方法包括：

在一个数据库表内获取需要进行增量同步的数据库表信息，并将获取的所述数据库表信息记录到Kettle的内存中；

若所述数据库表信息存在增量字段，则将增量字段记录到内存中，若所述数据库表信息不存在增量字段，则通过ID记录表完成增量记录，并将ID记录表和源数据表的ID进行连接得到未同步过数据的ID，存入内存；

对于有增量字段的表，则直接将数据生成执行的SQL进行保存，对于没有增量字段的表，则按照记录的信息从数据库按ID进行查找，并组成插入SQL；

将转换处理好的SQL分布执行，并将出错或者有问题的信息记录进缓存；

将缓存中的信息记录到专用的日志库，并且更新统计信息表。

2.根据权利要求1所述的基于Kettle的增量同步数据的方法，其特征在于，所述在一个数据库表内获取需要进行增量同步的数据库表信息，具体为：

通过表获取.ktr在一个数据库表内获取需要进行增量同步的数据库表信息。

3.根据权利要求1所述的基于Kettle的增量同步数据的方法，其特征在于，所述数据库表信息包括：数据库名、是否有增量字段、增量字段名、增量字段类型和增量字段最新值。

4.根据权利要求1所述的基于Kettle的增量同步数据的方法，其特征在于，所述在一个数据库表内获取需要进行增量同步的数据库表信息，并将获取的所述数据库表信息记录到kettle的内存中，之后还包括：

通过增量处理.ktr判断所述数据库表信息是否存在增量字段。

5.根据权利要求1所述的基于Kettle的增量同步数据的方法，其特征在于，所述将ID记录表和源数据表的ID进行连接得到未同步过数据的ID，存入内存，之后还包括：

通过数据转换处理.ktr判断表为增量字段的表还是没有增量字段的表。

6.根据权利要求1所述的基于Kettle的增量同步数据的方法，其特征在于，所述对于没有增量字段的表，则按照记录的信息从数据库按ID进行查找，并组成插入SQL，还包括：

自动将值为NULL的数据补齐为对应的字段类型数据。

7.根据权利要求1所述的基于Kettle的增量同步数据的方法，其特征在于，所述将转换处理好的SQL分布执行，并将出错或者有问题的信息记录进缓存，具体为：

通过写入数据.ktr将转换处理好的SQL分布执行，并将出错或者有问题的信息记录进缓存；

所述缓存记录的信息包括：行的表名、行增量字段的值、行的SQL信息和行的报的错误日志。

8.根据权利要求1所述的基于Kettle的增量同步数据的方法，其特征在于，所述将缓存中的信息记录到专用的日志库，并且更新统计信息表，具体为：

通过日志记录.ktr将缓存中的信息记录到专用的日志库，并且更新统计信息表。

9.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于Kettle的增量同步数据的程序，所述基于Kettle的增量同步数据的程序被所述处理器执行时实现如权利要求1-8任一项所述的基于Kettle的增量同步数据的方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于Kettle的增量同步数据的程序，所述基于Kettle的增量同步数据的程序被处理器执行时实现如权利要求1-8任一项所述的基于Kettle的增量同步数据的方法的步骤。