[发明专利]基于数据库表的时效同步方法及装置

说明书

本发明提供了一种基于数据库表的时效同步方法及装置，应用于源数据库基于数据库表的时效同步方法包括：生成表级同步配置表以及表级同步日志表；根据所述表级同步配置表以及所述表级同步日志表配置同步表；源数据库根据所述同步表进行同步数据读操作；目标数据库根据所述同步表进行同步数据写操作；根据所述表级同步配置表以及所述表级同步日志表监控多个数据库的数据同步状态。本发明解决了数据库级同步时效带来的业务影响，缩短了同步周期，可灵活调配同步数据；同时也规避了数据库表发生变化而带来无法同步问题。

技术领域

本发明涉及信息技术领域，特别是涉及数据同步技术领域，具体涉及一种基于数据库表的时效同步方法及装置。

背景技术

随着互联网技术的不断发展、网络业务的数据量激增，传统的单体式服务器在大量的场景下面临运维困难，可靠性低、扩展困难等诸多问题。越来越多的公司对服务器进行了功能模块化、分布式的服务框架演进，甚至是采用高可靠的跨机房、跨园区的服务集群式服务架构。

数据库作为应用系统开发中常用的应用软件，用来存储和管理数据的仓库，为应用提供服务。在一些高可用性的应用系统中，通常会采用所有服务集群同时进入运行状态，在正常工作时，交易数据根据应用设定的业务规则分流到不同集群的数据库上；当某一园区或某一集群出现故障时，需要另一方完全承接所有继续工作，以保障能够接替全部的工作。这就给应用开发者带来园区级数据同步的问题。目前园区级数据库同步主要的问题有：

1、单一园区仅在进行数据库同步后，才能够完全对外提供服务。跨库同步耗时长，容错性低，无法在短时间内保证数据一致性。

2、数据库同步依赖于数据库表结构，针对源端数据库和目标数据库的表结构，表名词和表的字段名称实现同步数据，这样的系统依赖于表结构，表名词和表的字段名称一旦修改表结构，就会影响同步，导致系统无法实现单园区承载。

3、服务程序在对业务数据处理时，还需要协调同步数据对业务的影响，维护传输信息资源，管理同步数据的资源，由此带来的服务器程序设计实现复杂，不利于服务程序的业务处理。

4、无法根据业务场景灵活配置表级的同步方式、同步周期、同步时效。从而会出现重要数据同步不及时，无效数据同步存储造成空间浪费的情况。

发明内容

针对现有技术中的问题，本发明提供的基于数据库表的时效同步方法及装置，可根据自身业务需求，自定义数据库表的同步参数，从而实现数据库的时效同步。

为解决上述技术问题，本发明提供以下技术方案：

第一方面，本发明提供一种基于数据库表的时效同步方法，包括：

生成表级同步配置表以及表级同步日志表；

根据所述表级同步配置表以及所述表级同步日志表配置同步表；

源数据库根据所述同步表进行同步数据读操作；

目标数据库根据所述同步表进行同步数据写操作；

根据所述表级同步配置表以及所述表级同步日志表监控多个数据库的数据同步状态。

一实施例中，生成所述表级同步日志表的步骤包括：

根据同步信息属性生成所述表级同步日志表，所述同步信息属性包括：同步表名、表所属、源数据库节点标识、目标结点、同步序列号、同步状态、同步开始时间戳、同步完成时间戳、同步读记录数以及同步写记录数；

生成所述表级同步配置表的步骤包括：

根据同步配置表参数属性生成所述表级同步配置表，所述参数属性包括：同步表名、表所属、源数据库节点标识、目标数据库节点、增存量模式、上一次同步时间戳、同步频率、同步开关状态以及同步周期。