[发明专利]一种数据同步方法、装置及多级平台数据同步系统

说明书

本申请实施例提供一种数据同步方法、装置及多级平台数据同步系统，涉及数据同步技术领域。该方法包括与下级平台建立安全隧道；基于所述安全隧道接收所述下级平台转发的数据端口服务；基于所述数据端口服务并利用基于时间戳的增量数据同步算法从所述下级平台同步数据，基于安全隧道技术进行数据访问端口的转发实现端口跨级高效同步，解决了现有方法需要引入其他外部云存储或中间件从而无法实现高效、稳定、可靠的异地数据同步需求的问题。

技术领域

本申请涉及数据同步技术领域，具体而言，涉及一种数据同步方法、装置及多级平台数据同步系统。

背景技术

随着现代信息技术的快速发展，跨地域业务数据存、取需求的不断增多，越来越多的企业级应用软件平台采用跨地域多级分布式部署方案。因业务数据来源的多样性，如关系型数据库、NoSQL数据库、文件、数据通道等，仅依靠外部云存储方案或通过消息中间件无法满足日益增长的数据类型需求，并且现有的方法无法实现高效、稳定、可靠的异地数据同步需求。

发明内容

本申请实施例的目的在于提供一种数据同步方法、装置及多级平台数据同步系统，基于安全隧道技术进行数据访问端口的转发实现端口跨级高效同步，解决了现有方法需要引入其他外部云存储或中间件从而无法实现高效、稳定、可靠的异地数据同步需求的问题。

本申请实施例提供了一种数据同步方法，应用于上级平台，所述方法包括：

与下级平台建立安全隧道；

基于所述安全隧道接收所述下级平台转发的数据端口服务；

基于所述数据端口服务并利用基于时间戳的增量数据同步算法从所述下级平台同步数据。

在上述实现过程中，通过在上级平台建立安全隧道，基于安全隧道将下级数据服务端口进行转发，实现了对下级数据端口的安全访问，并通过基于时间戳的增量数据同步算法实现了上下级平台数据的高效同步，解决了现有方法需要引入其他外部云存储或中间件从而无法实现高效、稳定、可靠的异地数据同步需求的问题。

进一步地，所述与下级平台建立安全隧道，包括：

接收所述下级平台发送的建立通道请求；

基于所述建立通道请求对所述下级平台进行身份认证；

若认证通过则与所述下级平台建立安全隧道。

在上述实现过程中，通过身份认证建立安全隧道，保证了通过数据端口传输数据的安全性，避免了数据端口暴露于外网中。

进一步地，所述基于所述安全隧道接收所述下级平台转发的数据端口服务，包括：

接收所述下级平台的端口服务列表并在本地注册；

基于注册的数据端口进行数据拉取。

在上述实现过程中，将数据端口限制在本地访问，不对外开放，保证了数据端口的安全性及隐蔽性。

进一步地，所述利用基于时间戳的增量数据同步算法从所述下级平台同步数据，包括：

分页查询待同步数据；

记录每页最后一条数据的时间戳；

若所述待同步数据大于1页，则查询出与所述时间戳相同的所有数据进行同步；

记录最后一条待同步数据的时间戳，并作为下次数据同步的数据同步时间点。

在上述实现过程中，利用基于时间戳的增量数据同步算法实现了待同步数据的高效同步，首次进行全量同步，后期仅对新增或变更数据进行同步，提高了同步效率。

进一步地，所述分页查询待同步数据，包括：