[发明专利]数据库的同步方法、装置、存储介质及终端

说明书

本申请实施例公开了一种数据库的同步方法、装置、存储介质及终端，本申请在源数据库中的归档日志发生更新时，获取归档日志文件中的增量日志记录，根据各个增量日志记录生成多个SQL语句，将多个SQL语句发送给目标数据库，然后基于SQL语句对目标数据库进行操作，以解决现有技术中目标数据库通过轮询的方式查询源数据库带来的目标数据库负载过重的问题，本申请实施例通过在源数据库中获取归档日志文件中的增量日志，基于增量日志发送给源数据库，以减少源数据库的查询开销。

技术领域

本申请涉及数据库管理领域，尤其涉及一种数据库的同步方法、装置、存储介质及终端。

背景技术

关系型数据库是指采用关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解，关系型数据库这一系列的行和列被称为表，一组表组成了数据库。用户通过查询来检索数据库中的数据，而查询是一个用于限定数据库中某些区域的执行代码。关系模型可以简单理解为二维表格模型，而一个关系型数据库就是由二维表及其之间的关系组成的一个数据组织。目前关系型数据库在大批量(例如：亿级)数据的关联查询和统计分析的效率较低，满足不了业务需求，大数据技术虽然在一定程度上解决了大批量数据查询效率的问题，但对数据频繁变更的处理能力不足。目前异构数据同步的技术，通常存在延时和实时性不强。延时主要体现在两个方面：1、变更数据捕获目标数据库采用定时轮询数据库的方式，对源数据库造成额外的工作负担；2、数据在目标端的处理方式，基本都是通过在源端采集的数据形成SQL语句在目标端重复执行一次，这种在源端存在大批量数据变更的情况下效率不高。

发明内容

本申请实施例提供了一种数据库的同步方法、装置、存储介质及终端，利用多个。所述技术方案如下：

第一方面，本申请实施例提供了一种数据库的同步方法，所述同步方法包括：

获取源数据库中的归档日志文件；

根据所述归档日志文件中的增量日志记录生成多个SQL语句；

将所述多个SQL语句发送给目标数据库；

基于所述多个SQL语句对所述目标数据库进行操作。

在一种可能的设计中，所述获取源数据库中的归档日志文件，包括：

确定待同步的表的表名信息、字段信息和关键字信息；

在源数据库中获取与所述表名信息、字段信息和关键字信息关联的归档日志文件。

在一种可能的设计中，所述根据所述归档日志文件中的增量日志记录生成多个SQL语句，包括：

根据数据库操作类型在所述增量日志记录中筛选出数据库更新操作日志；

根据所述数据库更新操作日志生成多个SQL语句。

在一种可能的设计中，所述基于所述多个SQL语句对所述目标数据库进行操作，包括：

解析所述多个SQL语句的数据库操作类型；

根据所述数据库操作类型将所述多个SQL语句进行分类得到删除SQL语句和插入SQL语句；

基于所述删除SQL语句对所述目标数据库进行操作，以及基于所述插入SQL语句对所述目标数据库进行操作；其中，所述删除SQL语句先于所述插入SQL语句进行执行。

在一种可能的设计中，所述将所述多个SQL语句发送给目标数据库，包括：

将所述多个SQL语句进行压缩编码，将压缩编码后的多个SQL语句发送给目标数据库。

在一种可能的设计中，所述将所述SQL语句发送给目标数据库之前，还包括：

将所述多个SQL语句缓存到数据文件中。