[发明专利]数据同步的方法和系统

说明书

本发明公开了一种数据同步方法和系统，其中，所述方法包括：根据同步任务的任务信息，Binlog模块从源数据库中获取Binlog信息，并写入缓存数据库；Config模块从缓存数据库中读取所述Binlog信息，解析为数据记录信息后，将数据写入目标数据库。所述系统包括：系统模块，用于存储同步任务、协调模块的工作；Binlog模块，用于根据同步任务的任务信息，从源数据库中读取Binlog信息；缓存数据库，用于暂存所述Binlog信息；和Config模块，用于从缓存数据库中读取所述Binlog信息，解析为数据记录信息后，将数据写入目标数据库。本发明可在线上随时做数据同步而不影响主库的生产环境，同步效率高、安全，中断后可以续接，并具有数据校验功能，在数据同步完成时可以校验核查，提供校验视图。

技术领域

本发明涉及一种数据库处理技术领域，具体地说，涉及一种数据库之间进行数据同步的方法和系统

背景技术

根据业务的需要，大部分的公司的系统都需要进行数据的同步操作。因而，目前常用的技术是针对线上数据库，采用主从同步配置，通过对binlog(或binary log，二进制日志)读写实现数据同步。具体地，线上MySQL数据库配置有主数据库和从数据库，主库写，从库读。在数据库操作中，普通查询以及大数据平台数据整合、分析会有大量的读操作。读操作虽然不会阻塞对同一表的读请求，但会阻塞对同一表的写请求，只有当读锁释放后，才会执行进程的写操作，这样使得从库数据的写入延迟，并且很容易使从库性能达到瓶颈，直接影响客户体验和生产。

另外一种同步方法则是通过人工，由线上从库将数据导出，再导入到目标库中，具体包括：

1)数据库直接导出，拷贝文件到新服务器，在新服务器上导入。

2)数据文件和库表结构文件直接拷贝到新服务器，挂载到同样配置的MySQL服务下。

3)还有使用“MySQL GUI Tools”中的MySQLMigrationTool做数据搬迁。

以上方案都对线上正常生产影响较大、安全性低、不易操作并且耗费人力成本较高。具体分析如下：

1)影响线上业务正常运行，使用的局限性大。有的可能需要在停止正常生产的情况下操作，这种要求对连续生产是致命的。

2)时间占用长。由于效率低或为了不影响正常生产，只有到了夜间访问量小时才能操作，这样每天能操作的时间受到限制，可能连续好多天才能完成。

3)人力成本高。数据操作需要DBA的授权和运维人员执行相关的配置，协调或配合过程中耗费大量的时间和人力。

4)操作、配置繁琐，容易出现错误。

5)不够安全、出现异常不容易被发现、中断后难以接续

发明内容

本发明要解决的技术问题在于，针对现有技术的不足，提供一种数据同步方法和系统，在线上通过快速配置数据同步任务，灵活、安全、高效地将数据同步到指定数据库中，不影响线上主库。

为了解决上述的技术问题，本发明提供了一种数据同步的方法，其中，包括：

通过用户客户端创建同步任务，并配置任务信息；

根据同步任务的任务信息，从源数据库中获取Binlog信息，并写入缓存数据库；

从缓存数据库中读取所述Binlog信息，将所述的Binlog信息解析为数据记录信息，并将所述数据写入目标数据库。

优选地，从源数据库中读取Binlog信息具体包括：

通过作为伪从库的Binlog模块向源数据库发送bump请求获取binlog信息。

优选地，所述任务信息包括增量同步方式，全量同步方式或自定义同步方式；