[发明专利]一种基于流处理的数据同步的方法、系统、设备及介质

摘要

本发明公开了一种基于流处理的数据同步的方法、系统、设备和存储介质，方法包括：按照类型对文件资源进行划分，并对划分后的每个类型设置对应的主题；获取待同步文件的文件流，并将文件流拆分成多个子文件流包，计算每个子文件流包的大小和摘要值；将每个子文件流包按顺序编号后写入本地缓冲区，并将每个子文件流包与对应的主题进行关联；根据主题将子文件流包发送给对应的目标节点，在目标节点检验子文件流包的摘要值是否发生变化；响应于子文件流包的摘要值未发生变化，根据编号将属于同一个文件流的多个子文件流包进行合并以同步数据。本发明将不同的文件格式统一成传输流进行交换，能适用不同数据同步场景，进而实现上层应用数据信息的同步。