[发明专利]一种MySQL数据库主从同步数据去重方法

说明书

本发明公开一种MySQL数据库主从同步数据去重方法。所述方法将MySQL数据库同步操作与数据去重操作区分开来，作为两个连续的操作步骤来执行，即在完成数据同步操作后，通过将本次同步的数据与同步日志中的数据进行比对，找到重复数据，并将从库中的重复数据删除。本发明所述方法无需对数据库表执行加锁操作，不影响数据库对外提供的并行服务功能，同时也不会引入过大的性能开销，因此在数据库操作并行性和性能开销方面优于现有的解决方法。

技术领域

本发明属于数据库应用技术领域，具体涉及一种MySQL数据库主从同步数据去重方法。

背景技术

SaaS架构通过将应用直接剥离出去，将平台留下来，做平台的始终做平台，而做云计算资源的人就专心做好自身的调度和服务。这种方式使做SaaS的人可以专注于自己所熟悉的业务，为别人提供软件和服务的应用。

MySQL数据库是一种非常流行的开源数据库管理系统，应用非常广泛。MySQL数据库管理系统的主数据库与从数据库同步技术在国内外使用得都非常的频繁。但是MySQL数据库在实现主从同步的时候容易出现数据重复的问题，这是个非常令人头痛的问题，需要采取技术措施来检查并删除重复的数据。

目前的解决方法主要有两类，一类是MySQL官方推荐的表级加锁方法，另一类是大部分企业使用的联合主键和多个唯一键的方法，也称为传统解决方法。这两类方法都存在缺陷。下面分别予以阐述。

一、 MySQL官方解决方法

使用表级锁，每次同步前先对主库中的表进行加锁，其次把主库中的表数据备份并导出，再次拷贝导出后的MySQL主库数据到MySQL从库当中，按照binlog进行同步数据，最后解除主库的表级锁。这种方法存在的问题是：数据操作程序只能使用单线程，只能单个系统使用数据库，如果其他系统同时使用该数据库，则会被锁表。这不能满足现在分布式系统的并行数据库访问需求。

二、 传统解决方法

使用联合主键和唯一键，但是每次对数据进行insert，update操作的时候都要逻辑验证每个主键字段和唯一键字段的唯一性，性能开销巨大。数据库服务器的主要用途是存储数据，不应该在逻辑处理上产生过多的开销，这种方式造成了数据库服务器性能的浪费。

发明内容

为了解决现有的MySQL数据库主从同步数据去重方法存在的性能开销大、只能提供单线程访问等问题，本发明提供一种MySQL数据库主从同步数据去重方法，所述方法采取分布操作，在每次数据同步后，扫描本次同步的数据，检测从库中重复的数据并进行删除。所述方法无需对数据库表执行加锁操作，不影响数据库对外提供的并行服务功能，同时也不会引入过大的性能开销，因此在数据库操作并行性和性能开销方面优于现有的解决方法。

为实现上述目标，本发明采用以下技术方案：

一种MySQL数据库主从同步数据去重方法，所述方法将数据库同步操作与数据去重操作区分开来，作为两个连续的操作步骤来执行，即在完成数据同步操作后，通过将本次同步的数据与同步日志中的数据进行比对，找到重复数据，并将从库中的重复数据删除。

一种MySQL数据库主从同步数据去重方法，所述方法包括以下步骤：

1）把待同步的主数据库中的数据保存在服务器的临时文件当中；

2）执行主数据库与从数据库的数据同步操作；

3）调用MySQL触发器，在主从同步日志表中记录同步操作完成的日志信息，但是记录中的“去重表级字段”记录为“未去重”；

4）SAAS架构程序定期扫描主从同步日志表；