[发明专利]数据库增量数据同步备份方法及系统

说明书

本发明涉及一种数据库增量数据同步备份方法，包括：步骤1)将关系型数据库保存的数据按照时间顺序分各个时间段分别导出对应的各个数据文件；步骤2)确定各个时间段中出现数据内容增量的时间段以作为目标时间段，将所述目标时间段对应的数据文件上传到同步系统中；步骤3)使用同步系统读取所述上传的数据文件的数据，对数据文件执行数据重复性校验和数据规范性校验，将通过校验的数据作为增量数据导入到目标数据库中，完成所述关系型数据库的增量数据到所述目标数据库的同步备份。本发明还涉及一种数据库增量数据同步备份系统。通过本发明，能够通过按日期导出增量数据文件方式实现第一数据库到第二数据库的数据同步备份。

技术领域

本发明涉及数据同步备份领域，尤其涉及一种数据库增量数据同步备份方法及系统。

背景技术

随着数据库技术的发展，越来越多的业务系统采用数据库对数据进行存储和管理。在业务系统运行的过程中，所产生的数据被记录在业务系统的数据库中。而为了便于业务方对数据进行分析和处理，业务系统数据库的数据需要同步到业务方的其他数据库，以形成业务系统中的数据的备份。在现有技术中，每一次需要从业务系统的数据库同步数据到另一数据库时，业务系统的数据库都需要对所要同步的数据进行查找。但是，对于一些要求数据同步频繁的场景，尤其是要求数据同步的场景，过于频繁的数据同步会导致业务系统的数据库面对大量的数据查找任务，从而影响到业务系统的数据库对业务系统运行过程所产生的数据处理任务的处理能力，使得业务系统的正常运行受到影响。

现有技术中，国外大多数数据库厂商提供了数据复制的功能，而且一般都支持异构数据库间的复制，如MSSQLServer、Oracle、Sybase等，也开发了能作为数据导入导出工具的产品，如SQLServer2000的DTS。有一些软件商开发的复制中间件应用于数据复制领域，如比较知名的有 PeerDirect公司的PDRE、SynchroLogic公司的SyncKit、Syware公司的DataSync等。这些方法的优点在于它们独立于数据库系统本身，能够解决各种异构问题；能够适应主从复制和同步复制；能够提供丰富的API，可扩展性好。增量同步系统基于成熟的关系数据模型和标准接口，能以极少的系统开支实现秒级数据同步，可广泛应用于应急系统、容灾备份、负载均衡、数据移植、联机维护、多业务中心等业务领域。

以金融系统而言，现如今每目交易量普遍达到百万级，数据增量可以达到百万字节甚S是数十亿字节，传统的单一数据可难以满足这类系统的实际需要。现有技术中，在原数据库进行数据同步时，采用数据分片技术通过分区键进行区分，将不同分为的数据存储S不同的实体数据库中，多个实体数据库作为一个整体再向外提供数据访问服务。但是上述现有技术在实现过程中需要停止联机服务，这会严重影响正常业务的进行，带来巨大的损失。

因此，如何不停止联机服务进行数据同步，是本领域技术人员目前需要解决的技术问题。公开号“CN103927313A”、名称为“企业信息系统数据同步核查机制”的专利文献公开了一种自动核查系统，通过对原始记录进行标记来实施数据同步以及比对核定数据同步的信息一致性。该方法破坏了原始数据的固有结构，对应用系统的插入、更新操作提出了额外的工作要求。

为解决上述问题，本发明提供了一种实现增量同步数据的方法及装置，能够实现数据由关系型数据库按时间筛选增量同步，同时有效减平台的负担，增强用户体验。

发明内容

针对现有技术上存在的不足，本发明提供了一种数据库增量数据同步备份方法及系统，能够避免业务系统的数据库面对数据同步时产生的大量数据查找任务，使得同步任务不会影响到业务系统的数据，从而在业务系统的正常运行不受影响的情况下实现数据库的实时数据同步。