[发明专利]一种数据同步的方法及系统

说明书

本申请公开了一种数据同步的方法，所述方法包括：当检测到原数据库中存在数据增量时，将所述数据增量同步至中间开源数据库，并更新所述中间开源数据库的二进制日志；根据所述二进制日志获得分区键值和所述数据增量的变化信息；根据所述分区键值确定目标数据库的分片号，并将所述中间开源数据库中的所述数据增量传输至所述分片号对应的所述目标数据库；根据所述变化信息在所述目标数据库中执行同步操作；该方法能够在不停止联机的情况下进行数据同步，大大减少了系统停机维护成本；本申请还公开了一种数据同步的系统，具有以上有益效果。

技术领域

本发明涉及数据存储领域，特别涉及一种数据同步的方法及系统。

背景技术

随着科技的迅猛发展，互联网技术和日常生活、商业活动的结合日益紧密。7*24服务系统如同雨后春笋一样快速成长，因此对数据存储的需要和要求也越来越高，特别在金融、政务、电商等领域，数据库向外提供数据访问服务成为其业务中重要的一环。

以金融系统而言，现如今每日交易量普遍达到百万级，数据增量可以达到百万字节甚至是数十亿字节，传统的单一数据可难以满足这类系统的实际需要。现有技术中，在原数据库进行数据同步时，采用数据分片技术通过分区键进行区分，将不同分为的数据存储至不同的实体数据库中，多个实体数据库作为一个整体再向外提供数据访问服务。但是上述现有技术在实现过程中需要停止联机服务，这会严重影响正常业务的进行，带来巨大的损失。

因此，如何不停止联机服务进行数据同步，是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种数据同步的方法及系统，能够不停止联机服务进行数据同步。

为解决上述技术问题，本申请提供一种数据同步的方法，该方法包括：

当检测到原数据库中存在数据增量时，将所述数据增量同步至中间开源数据库，并更新所述中间开源数据库的二进制日志；

根据所述二进制日志获得分区键值和所述数据增量的变化信息；

根据所述分区键值确定目标数据库的分片号，并将所述中间开源数据库中的所述数据增量传输至所述分片号对应的所述目标数据库；

根据所述变化信息在所述目标数据库中执行同步操作。

可选的，将所述数据增量同步至中间开源数据库包括：

通过Oracle Golden Gate将所述数据增量同步至所述中间开源数据库。

可选的，所述根据所述变化信息在所述目标数据库中执行同步操作包括：

将所述变化信息转译为SQL语句；

根据所述SQL语句在所述目标数据库中执行所述同步操作。

可选的，在根据所述变化信息在所述目标数据库中执行同步操作后，还包括：

判断所述同步操作是否执行完毕；

若执行完毕，则将所述目标数据库设置为提供数据访问服务的数据库。

可选的，其特征在于，还包括：

当检测到同步异常时，停止所述同步操作，并记录同步进度；

当检测到所述同步异常修复后，根据所述同步进度继续执行所述同步操作。

本申请还提供了一种数据同步的系统，该系统包括：

中转模块，用于当检测到原数据库中存在数据增量时，将所述数据增量同步至中间开源数据库，并更新所述中间开源数据库的二进制日志；

日志分析模块，用于根据所述二进制日志获得分区键值和所述数据增量的变化信息；