[发明专利]一种基于sql的增量数据同步获取方法及系统

权利要求书

1.一种基于sql的增量数据同步获取方法，其特征是所述的方法具体步骤包括：

S1在数据库采集端通过执行数据库sql创建逻辑复制槽；

S2采集程序实时获取表结构和逻辑解码后的增量数据；

S3将逻辑解码后的字符串数据集二次解析并序列化后通过cmsp传输；

S4入库端根据数据库类型反序列化获取数据，将数据写入数据库；

S5当采集需求结束后清理创建的逻辑复制槽；

S6获取数据库增量数据。

2.根据权利要求1所述的方法，其特征是所述S1在数据库采集端通过执行数据库sql创建逻辑复制槽的具体步骤包括：

S101针对需要同步的表创建逻辑复制槽；

S102根据业务需求确定逻辑槽管理表的数据同步信息的数量。

3.根据权利要求2所述的方法，其特征是所述S3将逻辑解码后的字符串数据集二次解析并序列化后通过cmsp传输的具体步骤包括：

S301通过查询表结构变化获取采集表列信息；

S302将结果集中取需要同步的表和同步的字段相结合；

S303将得到的结果集序列化放到cmsp中传输。

4.根据权利要求3所述的方法，其特征是所述S6的具体步骤包括：

S601解析增量数据判断是否为表信息

S602解析字符串获取模式名+表名，同时获取dml的增量类型；

S603按字符串存储格式，循环解析列名及列数据内容；

S604入库端接收并组装数据。

5.一种基于sql的增量数据同步获取系统，其特征是所述的系统具体包括逻辑解码模块、数据采集模块、数据解析模块、数据写入模块、槽位清理模块和代码实现模块：

逻辑解码模块：在数据库采集端通过执行数据库sql创建逻辑复制槽；

数据采集模块：采集程序实时获取表结构和逻辑解码后的增量数据；

数据解析模块：将逻辑解码后的字符串数据集二次解析并序列化后通过cmsp传输；

数据写入模块：入库端根据数据库类型反序列化获取数据，将数据写入数据库；

槽位清理模块：当采集需求结束后清理创建的逻辑复制槽；

代码实现模块：获取数据库增量数据。

6.根据权利要求5所述的系统，其特征是所述逻辑解码模块在数据库采集端通过执行数据库sql创建逻辑复制槽具体包括创建模块和管理模块：

创建模块：针对需要同步的表创建逻辑复制槽；

管理模块：根据业务需求确定复制槽管理表的数据同步信息的数量。

7.根据权利要求6所述的系统，其特征是所述数据解析模块将逻辑解码后的字符串数据集二次解析并序列化后通过cmsp传输的具体包括结构采集模块、结果处理模块和数据传输模块：

结构采集模块：通过查询表结构变化获取采集表列信息；

结果处理模块：将结果集中取需要同步的表和同步的字段相结合；

数据传输模块：将得到的结果集序列化放到cmsp中传输。

8.根据权利要求7所述的系统，其特征是所述代码实现模块获取数据库增量数据具体包括信息处理模块、字符串处理模块、循环解析模块和数据组装模块：

信息处理模块：解析增量数据判断是否为表信息；

字符串处理模块：解析字符串获取模式名+表名，同时获取dml的增量类型；

循环解析模块：按字符串存储格式，循环解析列名及列数据内容；

数据组装模块：入库端接收并组装数据。