[发明专利]一种基于CDC方式的SQL Server数据库增量同步实现方法及系统

说明书

本发明提供一种基于CDC方式的SQL Server数据库增量同步实现方法及系统，属于信息数据同步领域，本发明通过开启SQL Server CDC功能，从数据库中提取数据库表的增量变化数据，进而结合CMSP传输实现SQL Server数据库的增量数据提取以及同步。

技术领域

本发明涉及信息数据同步技术，尤其涉及一种基于CDC方式的SQL Server数据库增量同步实现方法及系统。

背景技术

随着现代信息技术的快速发展，世界已跨入互联网+大数据时代，人工智能技术的突飞猛进也是近些年来大数据长足发展的结果。信息正深刻改变着人们的思维、生产和生活方式，数据与各行各业的深度融合，必将产生前所未有的社会和商业价值。作为信息时代的重要组成部分，数据也越来越被众多企业和单位重视。同时，企业数据呈现出数量巨大、种类繁多、存放单一等特点，这势必给数据带来了安全隐患。因此，数据的同步与备份先得越来越重要。

现在常用的SQL Server增量数据同步方法有以下几种：

1、触发器方式

触发器方式是较为普遍存在的一种同步方式，该方式根据抽取的要求在源表建立插入、更新、删除三种触发器，每当源表发生变化时，就会由相应的触发器将变化数据写入到增量日志表。

本方式对更新、删除操作时，需要支持原表中存在主键字段，否则无法实现对应记录的更新、删除操作。

2、时间戳方式

时间戳方式是指增量抽取时，抽取进程通过比较系统时间与抽取源表的时间戳字段的值来决定抽取哪些数据。这种方式需要在源表上增加一个时间戳字段，系统中更新修改表数据的时候，同时修改时间戳字段的值。SQL Server支持时间戳自动更新，即表的其它字段的数据发生改变时，时间戳字段的值会被自动更新为记录改变的时刻。

使用时间戳方式可以正常捕获源表的插入和更新操作，但对于删除操作则无能为力，需要结合其它机制才能完成。

3、全表删除插入方式

全表删除插入方式是指每次抽取前先删除目标表数据，抽取时全新加载数据。该方式实际上将增量抽取等同于全量抽取。对于数据量不大，全量抽取的时间代价小于执行增量抽取的算法和条件代价时，可以采用该方式。

上面几种的同步方式比对如下：

CDC(Change Data Capture)，即变换数据捕获，是数据库备份内容中非常重要的一环。借鉴现有方式的优缺点，因此开发了基于CDC方式的SQL Server增量数据同步方法。

发明内容

为了解决以上技术问题，本发明提出了一种基于CDC方式的SQL Server数据库增量同步实现方法，可以实现SQL Server数据库表增量数据的采集同步，借助于CMSP的高效性实现数据库数据的快速同步及备份操作。

本发明主要功能是SQL Server增量数据采集，即实现SQL Server表格的增量数据的提取以及同步。

CDC用以捕获数据库的增量数据，在事务提交时，数据库守护进程会依据日志变化监听并捕获增量数据。

本发明的技术方案是：

一种基于CDC方式的SQL Server数据库增量同步实现方法，通过开启SQL ServerCDC功能，从数据库中提取数据库表的增量变化数据，进而结合CMSP传输实现SQL Server数据库的增量数据提取以及同步。

SQL Server提供了CDC机制用于捕获增量数据，在事务提交时，数据库守护进程会依据日志变化监听并捕获增量数据；数据库的变化(DML/DDL)都记录在数据库日志中，CDC就是基于日志实现的。