[发明专利]数据同步方法及装置

说明书

技术领域

本发明涉及移动互联网技术领域，更为具体地，涉及一种数据同步方法及装置。

背景技术

对于复杂和大型的系统，往往需要在不同的系统之间进行数据同步，常见的同步方法是构造基于某种系统的存储系统集群，使用其底层同步机制进行数据同步，例如构造MySQL数据库集群，使用MySQL的同步机制进行数据同步；或者使用Linux文件存储数据，底层使用rsync等同步机制进行同步。

以MySQL为例，如果要实现数据同步，则需要按照如下方式操作：

1）搭建MySQL集群，包含一个主MySQL和若干个备MySQL

2）主MySQL和备MySQL都开启MySQL复制功能

3）用户在主MySQL上执行增删改操作

4）主MySQL生成同步日志binlog，将binlog发送给备MySQL

5）备MySQL解析和执行binlog，修改备MySQL上的数据

虽然上述同步方式使用方便，方案成熟，但也存在如下问题：

1）限制两个或者多个同步系统必须采用完全相同的技术，无法做到在不同的存储系统间进行数据同步，限制了数据同步的应用场景；例如：当线上业务数据存储在Oracle数据库，而统计系统使用的是Infobright数据库时，则无法将Oracle的数据通过Oracle或者Infobright的底层同步机制同步到Infobright。

2）即使两个或者多个同步系统采用了完全相同的技术，一旦发生数据丢失，数据恢复异常麻烦。要想恢复数据，首先需要对比两个系统的数据，分析底层的数据同步日志，然后找出有问题的数据，最后重新在业务层修改数据，触发底层的同步机制进行同步。

3）即使两个或者多个同步系统采用了完全相同的技术，很多时候都要求这些同步系统都处于相同的机房网络里面，一旦跨越公网，由于网络不稳定，或者涉及安全问题，这些同步系统的底层同步机制将无法正常运作，或者运维人员将不允许此类系统直接通过公网同步。

因此，需要一种新的解决上述问题的技术方案。

发明内容

鉴于上述问题，本发明的目的是提供一种数据同步方法及装置，以解决异构系统间不能方便的同步数据的问题，以及解决同构系统间数据同步存在的限制的问题。

本发明提供的数据同步方法，用于同步数据接收端和数据提供端的数据；该方法包括数据预处理阶段和数据同步阶段，其中，

在数据预处理阶段：

根据数据操作类型分别对数据提供端和数据接收端的数据进行相应地标识；

在数据同步阶段：

数据接收端向同步端发出同步数据的请求，该请求指定数据类型和规定时间段；

数据提供端根据数据接收端发出同步数据的请求向数据接收端发送符合条件的数据；

其中，符合条件的数据为数据提供端标识过的数据，并且，符合条件的数据为上述请求指定的数据类型的并在规定时间段内的数据；

数据接收端根据接收到的符合条件的数据对本地数据进行同步，本地数据为数据接收端标识过的数据；其中，

数据接收端通过数据提供端的同步接口进行数据同步。

另一方面，本发明还提供一种数据同步装置，用于同步数据接收端和数据提供端的数据，该装置包括：

数据标识单元，用于根据数据操作类型分别对数据提供端和数据接收端的数据进行相应地标识；

数据接收端数据请求单元，用于向同步端发出同步数据的请求；其中，

数据接收端数据请求单元包括定义规则模块，用于指定数据类型和规定时间段；

数据提供端数据发送单元，用于向数据接收端发送数据标识单元对数据提供端标识过的，且定义规则模块指定的数据类型的并在规定时间段内的数据；

数据接收端数据接收单元，用于接收数据提供端数据发送单元发送的数据；

数据接收端数据同步单元，用于根据数据接收端数据接收单元接收到的数据对本地数据进行同步，本地数据为数据标识单元对数据接收端标识过的数据；

同步接口设置单元，用于在数据提供端设置同步接口，根据数据提供端设置的同步接口对所述数据接收端进行数据同步。

用上述根据本发明提供的数据同步方法及装置，能够取得以下有益效果：

1）两个或者多个同步系统不采用完全相同的技术也能够同步数据。

2）两个或者多个同步系统可以跨公网同步数据。