[发明专利]一种基于NiFi的关系型数据库增量数据的入库方法

权利要求书

1.一种基于NiFi的关系型数据库增量数据的入库方法，其特征在于,该入库方法基于增设在关系型数据库的处理组件，该处理组件用于判断新增、更新或者删除的增量数据，同时，该处理组件还用于支持新增、更新或者删除的增量数据入库，并支持设置忽略更新字段；在从源关系型数据库获取增量数据时，通过处理组件去目标关系型数据库中查询该增量数据是否存在，并根据查询结果，在目标关系型数据库中进行更新、插入或删除操作，完成增量数据的入库。

2.根据权利要求1所述的一种基于NiFi的关系型数据库增量数据的入库方法，其特征在于，该入库方法的具体实现内容包括：

步骤1、基于NiFi，在关系型数据库中增设一个处理组件，该处理组件用于判断新增、更新或者删除的增量数据，同时，该处理组件还用于支持新增、更新或者删除的增量数据入库，并支持设置忽略更新字段；

步骤2、从源关系型数据库中获取增量数据；

步骤3、将获取的增量数据传送至目标关系型数据库，根据源关系型数据库的处理组件设置的删除标识，目标关系型数据库的处理组件对该数据库的对应数据进行同步删除；

步骤4、随后，目标关系型数据库的处理组件通过比对查询该数据库是否包含从源关系型数据库获取的增量数据，

若存在，则处理组件进行更新操作，此时，还可以根据设置的忽略更新字段进行忽略，

若不存在，则处理组件进行插入操作；

步骤5、完成源关系型数据库中增量数据到目标关系型数据库的入库。

3.根据权利要求2所述的一种基于NiFi的关系型数据库增量数据的入库方法，其特征在于，步骤2中，增量数据的来源可以是MySQL、Oracle、SqlServer、postgreSQL任一关系型数据库，也可以是关系型数据库包含的不同格式的文件。

4.根据权利要求3所述的一种基于NiFi的关系型数据库增量数据的入库方法，其特征在于，通过时间戳字段从源关系型数据库MySQL的库表中获取增量数据，或者，通过读取源关系型数据库MySQL的binlog日志获取增量数据。

5.根据权利要求3所述的一种基于NiFi的关系型数据库增量数据的入库方法，其特征在于，在执行步骤3之前，首先查看获取增量数据的格式，

若增量数据为avro格式，则直接执行步骤3，

若增量数据不是avro格式，则基于NiFi默认的数据格式为avro，应当将获取增量数据的格式转换为avro格式，随后执行步骤3。

6.根据权利要求5所述的一种基于NiFi的关系型数据库增量数据的入库方法，其特征在于，当源关系型数据库为MySQL时，

a)通过sql查询获取到的增量数据为avro格式，获取的增量数据没有操作标识，此时，通过处理组件手动设置比对字段，然后执行步骤3，将获取的增量数据传送至目标关系型数据库，

b)通过binlog日志获取到的增量数据为json格式，获取的增量数据带有操作标识table.operation，此时，需要对json相应的路径进行处理以得到入库时所期望的字段值key:value映射方式，同时将binlog日志中的操作类型添加到table.operation属性中，随后执行步骤3。

7.根据权利要求6所述的一种基于NiFi的关系型数据库增量数据的入库方法，其特征在于，当获取的增量数据没有操作标识时，如果获取增量数据的源关系型数据库或者增量数据入库的目标关系型数据库是MySQL/MariaDB数据库和PostgreSQL9.5及以上版本数据库，则分别根据ON DUPLICATE KEY UPDATE和ON CONFLICT DO UPDATE SET省略手动比对步骤，处理组件通过主键判断直接进行插入更新操作。