[发明专利]一种数据同步系统和方法

说明书

本发明公开了一种数据同步系统，适于将源数据库中的数据同步到目标数据库，该系统包括消息队列生产者服务器、第一消息队列服务器、第二消息队列服务器和消息队列消费者服务器，其中：所述消息队列生产者服务器适于根据预定的捕获策略捕获源数据库的变化数据，对捕获的变化数据进行编码和压缩后，写入到第一消息队列服务器中的第一消息队列；所述第一消息队列服务器适于将第一消息队列中的消息发送给第二消息队列服务器中的第二消息队列；所述消息队列消费者服务器适于对第二消息队列中的编码和压缩后的变化数据进行解压缩及解码，并根据解压缩和解码后的变化数据对目标数据库中的数据进行更新。本发明还公开了相应的数据同步方法。

技术领域

本发明涉及数据库技术领域，特别涉及一种数据同步系统和方法。

背景技术

随着业务与用户规模的不断增加，传统的单一互联网数据中心(Internet DataCenter，IDC)机房已不能满足企业的发展需求，跨地域的互联网数据中心建设由此产生，多活的异地数据中心需要有数据实时性和一致性的解决方案，而业界现有方案(例如SQLServer数据库自身的数据复制方案、MySQL数据同步方案等)，没法满足需求。

SQL Server 2008数据库复制是通过发布/订阅的机制进行多台服务器之间的数据同步，被广泛应用于数据库的同步备份。这里的同步备份指的是备份服务器与主服务器进行实时数据同步，正常情况下只使用主数据库服务器，备份服务器只在主服务器出现故障时投入使用。它是一种优于文件备份的数据库备份解决方案，采用基于快照的事务复制，主数据库服务器生成快照，备份库服务器读取并加载该快照，然后不停地从主数据库服务器复制事务日志。但是，基于快照的事务复制已不能满足跨互联网数据中心进行数据同步时高性能、低延时需求。另外，现有方案复制时，数据库表都必须有主键，没有建主键不能同步，但现实中有高速写表的应用场景，这类场景不需要主键(可以使数据插入更快)，可见现有方案并不能适应这类场景。

因此，需要一种高性能、低延时的跨互联网数据中心进行数据同步的方案。

发明内容

为此，本发明提供一种新的数据同步系统和方法，以力图解决或者至少缓解上面存在的问题。

根据本发明的一个方面，提供一种数据同步系统，适于将源数据库中的数据同步到目标数据库，该系统包括消息队列生产者服务器、第一消息队列服务器、第二消息队列服务器和消息队列消费者服务器，其中：消息队列生产者服务器包括：数据捕获单元，适于根据预定的捕获策略捕获源数据库的变化数据；压缩单元，适于对捕获的变化数据进行编码和压缩；写消息队列单元，适于将编码和压缩后的变化数据作为消息写入到第一消息队列服务器中的第一消息队列；消息队列服务器适于将第一消息队列中的消息发送给第二消息队列服务器；第二消息队列服务器适于将接收到的消息写入到第二消息队列服务器中的第二消息队列；消息队列消费者服务器包括：读消息队列单元，适于从第二消息队列中读取消息，得到编码和压缩后的变化数据；解压缩单元，适于对编码和压缩后的变化数据进行解压缩及解码；数据更新单元，适于根据解压缩和解码后的变化数据对目标数据库中的数据进行更新。

可选地，在根据本发明的数据同步系统中，捕获策略包括：数据库触发器、变更数据捕获服务和应用程序级捕获。

可选地，在根据本发明的数据同步系统中，消息队列生产者服务器还包括捕获策略分配单元，捕获策略分配单元适于：为数据变化源头已知的数据分配应用程序级的捕获策略；为数据变化源头未知且实时性要求高的数据分配数据库触发器的捕获策略；以及为数据变化源头未知且实时性要求低的数据分配变更数据捕获服务的捕获策略。

可选地，在根据本发明的数据同步系统中，压缩单元还适于：判断变化数据的大小是否大于第一阈值；如果变化数据的大小超过第一阈值，则对变化数据进行编码和压缩，否则不对变化数据进行编码和压缩。

可选地，在根据本发明的数据同步系统中，第一阈值为4kb-10kb。