[发明专利]多系统间的数据同步方法和系统

说明书

技术领域

本发明属于多副本、分布式节点之间的数据同步处理领域，尤其涉及多系统间的数据同步方法和系统。

背景技术

多系统可理解为有共同关注数据类型的不同业务系统，比如：IM（Instant Messaging，即时通讯）系统、邮箱系统与短信系统，通讯录为其共同关注的数据类型。多系统间的数据同步技术着重于如何架构高效、高可靠性、高准确性的数据同步系统。

当前多系统间的同步，主要有三种：一对多、多对一单向模型，多对一，一对多双向混合模型，其中以一对多和多对一两种结构的数据同步模型居多。

图1为现有技术的一对多单向模型示意图。

一对多系统的数据同步中，中心节点为源数据节点，生成业务数据并承担分发职能，各分节点为数据目的节点，接收分发的业务数据并面向用户。

图2为现有技术的多对一单向模型示意图。

多对一系统模型中，各分节点为实际业务节点，为源数据节点，各分节点将业务数据汇聚到中心节点，中心节点多承担数据的统计分析职能。

这两种同步模型中，数据的流向实际为单向，业务模式相对简单，技术实现也可采用相对简单的传输－等待－反馈的同步方式。

图3为现有技术的多对一，一对多多点双向混合同步模型示意图。

传统的多对一，一对多多点双向混合同步模型，其时序上一般采用传输－等待－反馈的同步时序，这种模式用以下的例子进行说明。

中心节点向分节点A系统同步数据，中心节点先将数据传输给分节点A，分节点A本地处理成功后，将结果返回给中心节点，而分节点A在本地处理过程中，中心节点一直处于等待状态。扩展到多系统间的数据同步，比如，存在分节点B、C、D...等多个分系统，因为这种传输－等待－反馈的同步方式，则整个系统的效率取决于效率最低的分系统，至于为什么传统的数据同步要采用这种同步时序，是因为这种时序模式能够有效的确保数据同步的准确性。

对于多对一，一对多多点双向混合同步模型，时序上采用传输－等待－反馈的同步模式将使得系统间的耦合度陡升，并对整个系统产生致命的短板效应。

当前业界有多系统间同步需求的产品，一般采取基于集中存储的数据共享模式，而非分布式的基于中心同步引擎节点的多点、多副本双向同步方式。例如，某项数据集中存储在北京的某个IDC，而业务平台部署在广州的IDC，那么，当用户需要访问该数据时，需要先向广州本地业务平台请求数据，再由广州业务平台转发至北京IDC请求数据，这样就会多一层转发路由，从而造成获取数据的时延增大。

极少数有多点、多副本需求的产品采用的同步方式也是基于一种高耦合的单向同步处理方式，即：中心节点传输至某分节点A系统并等待A节点处理结果，A处理成功后，A向中心节点返回其结果，一次同步过程结束。从该流程中可以看出，中心节点受目的节点系统限制，以这样的算法搭建的多系统数据同步模型，其整体性能出现木桶原理所致的短板效应。

因此，现有技术的同步过程使得多系统间数据同步的效率低、数据一致性差。

发明内容

鉴于以上，本发明提出多系统间的数据同步方法和系统。

根据本发明一方面，提出多系统间的数据同步方法，包括以下步骤：

分节点产生数据更新请求，并在分节点的系统时间t1将所述数据更新请求提交给中心节点；

中心节点记录其接收到分节点的所述数据更新请求时中心节点的系统时间t0，并计算其与分节点的系统时间差△t=t0-t1；

中心节点从原子操作指令中获取产生数据更新请求的用户在所述数据更新请求产生的时间+△t之后的、对要进行更新的数据的所有增量操作；

分节点向中心节点以版本号v0、以及所述版本号对应数据的校验摘要值s0请求增量数据；

中心节点以版本号Vi以及校验摘要值Si应答分节点，角标i取值为大于等于0的整数；

分节点返回应答，表示已经正确接收到数据，生成本地数据副本；

分节点获取到增量数据后，分别对源本与副本执行增量操作；

分节点根据副本执行结果计算本地摘要s1；

分节点做摘要比对，若s1==Si，则表示校验通过，即分节点与中心节点数据一致；

分节点取本地最新的版本号v1，若v1<Vi，则将v1=Vi，即，分节点本地最新的版本号低于中心节点的版本号，用中心节点的版本号对本地最新的版本号进行更新。

进一步，分节点与中心节点数据不一致，进入数据自恢复流程，包括以下步骤：