[发明专利]数据同步方法和系统

说明书

技术领域

本申请涉及计算机和互联网数据处理技术领域，尤其涉及一种数据同步方法和系统。

背景技术

互联网业务属于海量请求业务，在提供互联网服务时，某些基础数据常常是各个业务类型都需要获取的。目前通常是将基础数据存储在基础数据查询服务器中，各业务服务器通过用户数据包协议（UDP，User Datagram Protocol）包查询的方式从基础数据查询服务器获取这些基础数据。这种方式有两方面的缺点：一方面，发往基础数据查询服务器的用于查询基础数据的查询请求是巨量的，基础数据查询服务器处理查询请求是个处理瓶颈；另一方面，这种UDP包查询的方式会占用业务处理的时间，如果基础数据查询服务器处理查询请求超时就会导致业务处理超时，增加了业务处理对外部服务的耦合性，降低了业务处理本身的可控性。

为了解决上述两方面的缺点，目前对这类基础数据的获取常采用代理（Agent）查询的技术方案。该代理查询的技术方案主要包括：在各个业务服务器上安装基础数据的代理装置，Agent定时获取基础数据的入口端（该入口端也称为写数据端，即写入基础数据的端点，通常是互联网业务的主站）的基础数据更新，并将获取的基础数据存储在业务服务器的本地，业务服务器在需要查询基础数据时，通过调用本地应用程序接口（API接口）查询基础数据。这种采用代理（Agent）查询的技术方案，把以往业务服务器对基础数据查询服务器的大量的读请求转为与入口端的少量写请求的同步操作，解决了基础数据查询服务器海量查询请求（读请求）的瓶颈问题，同时，业务服务器通过本地调用API接口获取基础数据，而本地接口性能很高，基本不占用业务处理时间，大大降低对业务处理效率的影响。

对于所述业务处理器上的代理装置与基础数据入口端（本文简称数据入口端）的数据同步机制目前通常采用的是定时同步方式，即Angent（目的端）可以通过定时从源端（写数据端）拉取数据的方式来同步源端的数据，例如可以定时通过crontab命令实现拉取数据，拉取的方式也有很多种，例如采用文件传输协议（FTP，File Transfer Protocol）、超文本传输协议（HTTP，Hypertext transfer protocol）拉取等。

但是，上述同步方式是定时同步，实时性太差，如果缩短定时同步的时间以增强实时性的话，则又会在每一次同步过程中同步大量已经同步过的数据，造成网络带宽的浪费。

发明内容

有鉴于此，本发明的主要目的在于提供一种数据同步方法和系统，以提高同步数据的实时性，降低对网络带宽的占用。

本发明的技术方案是这样实现的：

一种数据同步方法，包括：

在目的端创建主内存；

增量同步过程，包括：源端记录写操作流水日志，该流水日志中包括写操作的操作信息和流水号；并记录和更新目的端的最新写操作流水号；源端在判断出本端最新写操作流水号大于目的端的最新写操作流水号后，将源端写操作流水号大于目的端的最新写操作流水号的写操作信息实时推送到目的端，目的端收到写操作信息后按照所述写操作信息对本端主内存执行对应写操作，并记录本目的端主内存的写操作流水号，并将最新的目的端主内存的写操作流水号返回给源端。

一种数据同步系统，包括：

内存创建模块，设置在目的端，用于在目的端创建主内存；

操作流水日志模块，设置在源端，用于记录源端的写操作流水日志，该流水日志中包括写操作的操作信息和流水号；

源端同步模块，用于记录和更新目的端的最新写操作流水号，并在判断出源端最新写操作流水号大于目的端的最新写操作流水号后，将源端写操作流水号大于目的端的最新写操作流水号的写操作信息实时推送到目的端；

目的端同步模块，用于接收源端同步模块推送来的写操作信息，按照所述写操作信息对本端主内存执行对应写操作以更新该主内存中的数据，并记录本目的端主内存的写操作流水号，将最新的目的端主内存的写操作流水号返回给源端同步模块。

与现有技术相比，本发明在源端记录本端写操作流水号和目的端的写操作流水号，在目的端维护本目的端的写操作流水号，并将目的端最新的写操作流水号返回给源端，源端以目的端返回的流水号更新本端维护的目的端的写操作流水号，并根据源端写操作流水号和目的端最新写操作流水号的差异来判断增量的写操作，将这些增量的写操作实时同步给目的端，从而实现实时增量同步数据，提高了同步数据的实时性，同时由于每次只同步增量数据，还可以降低对网络带宽的占用。

附图说明