[发明专利]数据同步方法、系统和装置

说明书

本公开的实施例公开了数据同步方法、系统和装置。该方法的一具体实施方式包括：响应于接收到客户端发送的数据同步请求，解析同步请求以获取同步请求指示的待同步数据，向全局时钟服务器发送时间戳请求，响应于接收到全局时钟服务器返回的全局时间戳，向第一服务端发送第一存储请求，响应于接收到第一服务端返回的与第一存储请求相对应的存储成功消息，向第一服务端发送数据请求，接收第一服务端返回的数据请求对应的目标同步数据，并向第二服务端发送第二存储请求，响应于接收到第二服务端返回的数据同步结果，并向客户端转发。该实施方式提高了数据同步的准确性，提升了数据同步效率。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及数据处理技术领域，尤其涉及数据同步方法、系统和装置。

背景技术

分布式存储系统Hbase结合数据搜索分析引擎Elasticsearch(简称ES)是一种常用的海量数据存储及实时搜索方案，由于数据需要分别存储至分布式存储系统Hbase和数据搜索分析引擎ES，如何使数据同步至分布式存储系统Hbase和数据搜索分析引擎ES成为需要解决问题。

目前将数据同步至分布式存储系统Hbase和数据搜索分析引擎ES的方案包括：一种是先将数据存储至分布式存储系统Hbase，然后按照数据存储入Hbase的顺序再将数据从分布式存储系统Hbase写入数据搜索分析引擎ES；另一种是利用消息队列将消息队列中的数据依次存储至分布式存储系统Hbase和数据搜索分析引擎ES，还有一种是利用分布式存储系统Hbase的协处理器实现分布式存储系统ES与分布式存储系统Hbase数据同步。

发明内容

本公开的实施例提出了数据同步方法、系统和装置。

第一方面，本公开的实施例提供了一种数据同步方法，该方法包括：响应于接收到客户端发送的数据同步请求，解析同步请求以获取同步请求指示的待同步数据；向全局时钟服务器发送时间戳请求；响应于接收到全局时钟服务器返回的全局时间戳，向第一服务端发送第一存储请求，其中，第一存储请求包括全局时间戳和待同步数据，全局时间戳为指示当前时间和序列号的一组数字；响应于接收到第一服务端返回的与第一存储请求相对应的存储成功消息，向第一服务端发送数据请求；接收第一服务端返回的数据请求对应的目标同步数据，并向第二服务端发送第二存储请求，其中，第二存储请求包括全局时间戳和目标同步数据；响应于接收到第二服务端返回的数据同步结果，并向客户端转发。

在一些实施例中，在接收第一服务端返回的数据请求对应的目标同步数据，并向第二服务端发送第二存储请求之后，方法还包括：响应于接收到第二服务端返回的与第二存储请求对应的存储失败消息，将目标同步数据和全局时间戳存储于数据恢复表；基于数据恢复表，执行数据恢复操作。

在一些实施例中，目标同步数据为第一服务端数据库中与数据标识对应的全量数据，其中，数据标识为第一服务端数据库中待同步数据对应的一行记录的唯一标识。

第二方面，本公开的实施例提供了一种数据同步方法，该方法包括：接收同步处理服务器发送的存储请求，解析存储请求以获取目标同步数据和全局时间戳，其中，全局时间戳为指示当前时间和序列号的一组单调递增的数字；基于全局时间戳，更新目标同步数据对应的数据并更新数据ID对应数据的版本号，并向同步处理服务器返回数据同步结果，其中，数据ID为本地数据库中与目标同步数据相对应的数据的唯一标识。

在一些实施例中，基于全局时间戳，更新目标同步数据对应的数据并更新目标同步数据对应的数据的版本号，并向同步处理服务器返回数据同步结果，包括：判断全局时间戳是否大于数据ID对应数据的版本号；若全局时间戳大于数据ID对应数据的版本号，更新目标同步数据对应的数据并更新数据ID对应数据的版本号；响应于更新目标同步数据对应的数据成功，向同步处理服务器返回数据同步结果。

在一些实施例中，在判断全局时间戳是否大于数据ID对应数据的版本号之后，方法还包括：若全局时间戳不大于数据ID对应数据的版本号，向同步处理服务器返回数据同步结果。