[发明专利]一种数据同步系统、方法及装置

说明书

技术领域

本发明涉及数据库系统技术领域，尤其涉及一种数据同步系统、方法及装置。

背景技术

在基于客户端/服务器网络结构的交互系统中，服务器上存放有最新的交互数据，其中服务器包括有主数据库和若干从数据库，而客户端（如手机终端、邮件客户端等）为了提高访问速度或离线查找的需要，会在本地储存器中保留一份缓存的数据副本，用户在客户端查找和访问的联系人信息都是从本地的数据副本中获得的，这就需要服务器的主从数据库能够即时同步更新的数据内容，使客户端中数据副本信息与服务器上保持一致，保证用户得到的信息是准确和有效的，另外，在客户端（如手机终端、邮件客户端等）需要向服务器写入新数据时，为保证其他客户端能够及时获取服务器的最新数据，也需要服务器的主从数据库能够即时同步更新的数据内容。

现有技术中数据同步的方式是：当服务器上的数据被修改后，主数据库将更新数据同步至其他从数据库中，以使得客户端到任意数据库去获取更新数据。这种集中同步的方式虽然能够使客户端的数据与数据库保持一致，但也存在很大的问题：由于数据库上的资源（如网络带宽、磁盘IO、CPU处理能力等）是有限的，当大量客户端并发请求同步时，会造成服务影响变慢甚至拒绝客户端的请求，随着客户端数量的增加，服务器资源问题会变得越来越严重，主从数据库之间需要很长时间才能完成同步，甚至同步失败，需要等主数据库空闲后才能重新同步，造成客户端内的数据副本信息在一段时间内与服务期不一致，用户无法查到最新信息，不仅严重影响用户的使用，同时降低了服务器的工作效率。

发明内容

本发明的实施例提供一种数据同步系统、方法及装置，通过利用数据同步装置读取第一数据库的修改日志确定其他数据库中需要同步数据的位置，进而数据同步装置将被修改的数据同步至其他数据库，改变了原有主从服务器之间的数据同步架构，解决了高并发下数据同步不及时的问题。

为达到上述目的，本发明的实施例采用如下技术方案：

本发明的实施例提供一种数据同步系统，包括至少两个数据库，以及与所述至少两个数据库相连的数据同步装置，其中，所述至少两个数据库中包含有第一数据库；

所述数据同步装置，用于接收来自第一数据库的数据同步指令，所述数据同步指令为所述第一数据库中的数据被修改时所述第一数据库生成的；以及根据所述数据同步指令，读取所述第一数据库的修改日志；以及根据所述修改日志，确定需采用的数据同步方式，所述需采用的数据同步方式包括单线程同步方式或多线程同步方式；以及根据所述需采用的数据同步方式及所述修改日志，将所述第一数据库中被修改的数据同步至所述至少两个数据库中除所述第一数据库以外的数据库中；

所述第一数据库，用于发送所述数据同步指令至所述数据同步装置，以及允许所述数据同步装置读取所述修改日志；

所述至少两个数据库中除所述第一数据库以外的数据库，用于接收所述数据同步装置发送的所述第一数据库中被修改的数据。

所述修改日志包括有所述第一数据库中被修改数据的内容以及被修改数据对应的全局ID，所述全局ID用于指示所述第一数据库中每一行数据的位置，其中，

所述数据同步装置，具体用于根据所述修改日志，读取所述修改日志中记录的被修改数据的信息，每条被修改数据的信息中均包含被修改数据对应的全局ID;以及判断各个全局ID是否一致；若一致，所述数据同步装置则确定所述需采用的数据同步方式为单线程同步方式；若不一致，所述数据同步装置则确定所述需采用的数据同步方式为多线程同步方式；以及计算所述各个全局ID中不一致的全局ID的个数N，N为大于1的整数；以及分别向除所述第一数据库以外的数据库开启N条同步线程。

本发明的实施例提供一种数据同步方法，包括至少两个数据库，所述方法包括：

数据同步装置接收来自第一数据库的数据同步指令，所述数据同步指令为所述第一数据库中的数据被修改时所述第一数据库生成的；

所述数据同步装置根据所述数据同步指令，读取所述第一数据库的修改日志；

所述数据同步装置根据所述修改日志，确定需采用的数据同步方式，所述需采用的数据同步方式包括单线程同步方式或多线程同步方式；

所述数据同步装置根据所述需采用的数据同步方式及所述修改日志，将所述第一数据库中被修改的数据同步至所述至少两个数据库中除所述第一数据库以外的数据库中。

所述修改日志包括有所述第一数据库中被修改数据的内容以及被修改数据对应的全局ID，所述全局ID用于指示所述第一数据库中每一行数据的位置。