[发明专利]一种实现PostgreSQL增量数据同步的方法及系统

权利要求书

1.一种实现PostgreSQL增量数据同步的实现方法，其特征在于，

步骤如下：

1)通过WAL日志解析，实现PostgreSQL数据库增量数据采集；

2)通过设置被采集的表名或者用户名对需要采集的增量数据进行过滤；

3)目的端根据目的数据库类型，实时的转换为对应的SQL，并用来写入数据库。

2.根据权利要求1所述的方法，其特征在于，

通过解析生产库产生的WAL的日志，将其解析为与操作相对应的SQL。

3.根据权利要求2所述的方法，其特征在于，

通过表名或者用户名进行过滤，获取增量数据借助CMSP传输数据的发送到目的端，转换为目的端数据库的操作SQL,并用来实现PostgreSQL与其它常用类型数据库，增量数据同步的功能。

4.根据权利要求2或3所述的方法，其特征在于，

调用日志解析工具wal parse tool，生成对应的redo日志。

5.根据权利要求2所述的方法，其特征在于，

该日志解析工具注册到PostgreSQL的extension中，并提供给用户接口，即可完成增量数据的解析。

6.根据权利要求5所述的方法，其特征在于，

日志解析工具将pg dml变动信息输出为sql格式，是一个pg的扩展，支持pg9.4+版本。

7.根据权利要求6所述的方法，其特征在于，

日志解析工具将变动的每条记录的列的信息提取出来，能生成对应的sql,或按自定义格式协议转化为二进制数据，供postgresql的客户端程序消费，获取数据库dml变更记录。

8.一种实现PostgreSQL增量数据同步的系统，其特征在于，

包括日志解析工具wal parse tool、增量采集模块、目的端的转换模块和入库模块，

其中，

日志解析工具wal parse tool，注册到PostgreSql的生产库或者该生产库WAL日志的备份库中，跟据生成的WAL日志，自动解析成DML操作的SQL,实时的发送到增量采集模块；

增量采集模块，通过参数设置，根据表名或用户名信息设置采集的过滤条件，实时的采集日志解析工具发送过来的增量SQL，并借助CMSP将增量数据发送到目的端；

目的端的转换模块，根据目的端的数据库类型，及各种参数设置，实时的将CMSP发送过来的增量数据，转化为对应数据库的增量SQL；

入库模块，将转换完成的增量SQL入库。