[发明专利]一种跨机房数据同步方法和装置

说明书

本发明实施例提供了一种跨机房数据同步方法和装置，应用于源机房，所述源机房与目标机房通信连接，所述源机房包括全局存储对象，所述方法包括：获取同步数据，并将所述同步数据写入所述全局存储对象；其中，所述同步数据为所述源机房需要同步到所述目标机房的数据，所述同步数据包括数据编号；调用至少一个线程逐条提取所述全局存储对象中的同步数据的数据编号；通过所述至少一个线程，根据所述同步数据的数据编号和预设阈值，判断相应的同步数据是否满足发送条件；若是，则通过所述至少一个线程将所述相应的同步数据发送至所述目标机房。实现在跨机房进行数据同步时，多线程并发进行数据发送，提高数据传输的效率。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种跨机房数据同步方法和一种跨机房数据同步装置。

背景技术

目前，针对一些大型网站业务，在系统可用性上往往会考虑数据库的跨机房镜像复制，容灾备份等，在发生不可抗力因素导致当地数据不可用时，能够快速的通过异步的数据库备份或者镜像提供系统访问。

在跨机房数据同步系统中，源机房通过解析Binlog更新日志文件，将变更数据进行解析组装，然后将变更数据发送到目的机房，目的机房的解析模块收到变更数据进行处理后，将变更数据写到目的数据库。由于数据库的更新是有先后顺序的，Binlog解析模块只能是串行按顺序进行数据解析，然后把解析后的数据传输到目的机房。现有技术通常采用的方案是：串行按顺序发送到目的机房，目的机房收到数据进行处理后直接写到数据库即可。

然而，由于是跨机房数据传输，机房间传输数据会有一定的网络延时，因此机房间数据传输成为了整个系统的性能瓶颈，导致整体性能下降。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种跨机房数据同步方法和相应的一种跨机房数据同步装置。

为了解决上述问题，本发明实施例公开了一种跨机房数据同步方法，应用于源机房，所述源机房与目标机房通信连接，所述源机房包括全局存储对象，所述方法包括：

获取同步数据，并将所述同步数据写入所述全局存储对象；其中，所述同步数据为所述源机房需要同步到所述目标机房的数据，所述同步数据包括数据编号；

调用至少一个线程逐条提取所述全局存储对象中的同步数据的数据编号；

通过所述至少一个线程，根据所述同步数据的数据编号和预设阈值，判断相应的同步数据是否满足发送条件；

若是，则通过所述至少一个线程将所述相应的同步数据发送至所述目标机房。

可选的，所述调用至少一个线程逐条提取所述全局存储对象中的同步数据的数据编号，包括：

调用所述至少一个线程判断所述全局存储对象中是否存在所述同步数据；

若是，则逐条提取所述全局存储对象中的同步数据的数据编号。

可选的，所述源机房还包括已发送存储对象，所述已发送存储对象用于存储已发送同步数据的数据编号，所述通过所述至少一个线程，根据所述同步数据的数据编号和预设阈值，判断相应的同步数据是否满足发送条件，包括：

通过所述至少一个线程，将所述相应的同步数据的数据编号减去所述预设阈值，得到编号差值；

判断所述编号差值是否与所述已发送存储对象中的同步数据的数据编号匹配；

若匹配，则所述相应的同步数据满足发送条件。

可选的，所述方法还包括：

通过所述至少一个线程，将所述同步数据的数据编号添加至所述已发送存储对象。

可选的，所述源机房还包括状态存储对象，所述方法还包括：