[发明专利]一种基于CRDT的分布式类JSON数据自动合并的方法及系统

说明书

本发明公开了一种基于CRDT的分布式类JSON数据自动合并的方法及系统。其中，本发明涉及的一种基于CRDT的分布式类JSON数据自动合并的方法，包括步骤：S11.第一数据节点向第二数据节点发送数据同步请求信息；S12.所述第二数据节点接收所述第一数据节点发送的请求数据同步的信息；S13.所述第二数据节点执行合并动作。本发明可以使一组处在弱网环境下的设备可以独立自主进行数据变更，等到恢复网络连接时再与网络中的其他节点进行同步，同步过程中会发送本节点的更新记录，并能接收断网期间其他节点的修改操作记录，这些记录都会自动进行数据合并与冲突解决。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于CRDT的分布式类JSON数据自动合并的方法及系统。

背景技术

随着移动时代的到来，越来越多的设备接入到了网络中，包括手机、传感器、嵌入终端、家用电器等等。但是无线传输的稳定性与时效性始终不如有线连接有保障，特别是当设备处在特殊的环境当中，如地下室、野外等无线信号覆盖不到的地方。这就需要一种方法使这些设备能同时工作在有网和无网的环境中，而在断网期间随着中心服务器数据的变更，设备本身数据的变更这中间便形成了数据差异，这些差异有简单的可合并的差异，也可能出现复杂的存在冲突无法合并的差异。

如公开号为CN109408589A的专利公开了一种数据同步方法及装置，用于将源数据库中的数据同步到MPP数据库，方法包括：从源数据库的日志文件获得预设数量条操作语句，每条操作语句包括该操作语句的版本信息；查找预设数量条操作语句中的删除语句，并在查找到删除语句时，在预设数量条操作语句中确定版本信息比该删除语句旧的目标操作语句，并在目标操作语句中查找符合该删除语句的删除条件的插入语句作为待删除语句；从预设数量条操作语句中删除该待删除语句，对剩余的操作语句中的插入语句进行合并，并根据合并后的操作语句更新MPP数据库的数据。如此，可以减少更新数据时执行的操作次数，从而降低更新数据的时延，从而提高源数据库和MPP数据库中的数据的一致性。上述方法公开了对剩余的操作语句中的插入语句进行合并，但是对于在断网期间随着中心服务器数据的变更，依然不能时期在有网的情况下进行数据合并。

现有技术中，采用类似的基于CRDT算法的产品大多用于中心化服务器来处理多节点间的冲突。其中，可交换的复制数据类型CRDT方法是近几年新兴的一致性维护方法。主要思想，通过分配给操作对象唯一全局的ID，将操作对象全序的映射到内部数据结构中，可维护操作意图的一致性，并收敛于一致性的结果。与传统的一致性维护的方法相比，CRDT方法的计算效率更高，具有很好的操作响应性。

但是现有技术采用的基于CRDT算法的产品大多用于中心化服务器来处理多节点间的冲突，而并非是多节点间的自我同步。或者并非是基于JSON类似的数据结构来设计的方法，比如是以XML来设计的。再有些只是支持简单的基本数据类型如数字或者字符，对嵌套的无序对象或有序列表并不能完整支持。为了解决此类问题本发明提出一种基于CRDT的分布式类JSON数据自动合并的方法及系统。

发明内容

本发明的目的是针对现有技术的缺陷，提供了一种基于CRDT的分布式类JSON数据自动合并的方法及系统，可以使一组处在弱网环境下的设备可以独立自主进行数据变更，等到恢复网络连接时再与网络中的其他节点进行同步，同步过程中会发送本节点的更新记录，并能接收断网期间其他节点的修改操作记录，这些记录都会自动进行数据合并与冲突解决。

为了实现以上目的，本发明采用以下技术方案：

一种基于CRDT的分布式类JSON数据自动合并的方法，包括步骤：

S1.第一数据节点向第二数据节点发送数据同步请求信息；

S2.所述第二数据节点接收所述第一数据节点发送的请求数据同步的信息；

S3.所述第二数据节点执行合并动作。

进一步的，所述步骤S1之前还包括：