[发明专利]数据同步方法、装置、服务器及存储介质

说明书

本申请涉及数据处理技术领域，提供一种数据同步方法、装置、服务器及存储介质，方法包括：根据预设的无锁策略，获取待同步数据，其中，所述无锁策略包括单线程获取策略或基于多线程的比较再交换策略；根据预设的数组可用位置变量，将所述待同步数据写入至基于环形数据结构的缓冲数组中，获得缓冲数据，其中，所述缓冲数组中两个数据之间填充有预设数量的占位数据；根据预设的未读数据变量，从所述缓冲数据中确定可读数据；通过预设的多个处理线程对所述可读数据进行处理，获得同步数据以及用于故障恢复的同步事件。本申请能提高数据同步的效率。本申请可以应用于数字医疗中数据同步场景中。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据同步方法、装置、服务器及存储介质。

背景技术

目前，可以通过数据同步组件，比如阿里巴巴的Canal，将数据库的数据同步至各个节点中，但在实践中发现，数据同步的过程中会使用锁等资源，数据的同步效率不高。

因此，如何提高数据同步的效率是一个需要解决的技术问题。

发明内容

鉴于以上内容，有必要提供一种数据同步方法、装置、服务器及存储介质，能够提高数据同步的效率。

本发明的第一方面提供一种数据同步方法，所述数据同步方法包括：

根据预设的无锁策略，获取待同步数据，其中，所述无锁策略包括单线程获取策略或基于多线程的比较再交换策略；

根据预设的数组可用位置变量，将所述待同步数据写入至基于环形数据结构的缓冲数组中，获得缓冲数据，其中，所述缓冲数组中两个数据之间填充有预设数量的占位数据；

根据预设的未读数据变量，从所述缓冲数据中确定可读数据；

通过预设的多个处理线程对所述可读数据进行处理，获得同步数据以及用于故障恢复的同步事件。

在一种可能的实现方式中，所述根据预设的数组可用位置变量，将所述待同步数据写入至基于环形数据结构的缓冲数组中，获得缓冲数据包括：

针对每个所述待同步数据，获取所述数组可用位置变量的最新值；

从所述基于环形数据结构的缓冲数组中确定与所述最新值对应的位置空间；

判断所述位置空间是否存在已存储数据；

若所述位置空间不存在已存储数据，将所述待同步数据写入至所述位置空间中，获得所述缓冲数据；或

若所述位置空间存在已存储数据，根据所述待同步数据，将所述已存储数据进行替换操作，获得所述缓冲数据。

在一种可能的实现方式中，所述通过预设的多个处理线程对所述可读数据进行处理，获得同步数据以及用于故障恢复的同步事件包括：

通过解密线程，对所述可读数据进行解密，获得解密数据；

根据所述解密数据，生成输入事件；

根据幂等性校验算法，对所述输入事件进行过滤，获得过滤事件；

根据所述过滤事件的事件类型，将所述过滤事件分配给预设的多个业务线程进行数据处理，获得同步数据以及输出事件；

将所述输入事件以及所述输出事件确定为用于故障恢复的同步事件。

在一种可能的实现方式中，所述根据预设的无锁策略，获取待同步数据包括：

判断所述待同步数据的数据源是否为消息中间件；

若所述待同步数据的数据源为消息中间件，根据所述单线程获取策略，使用消息中间件的拉动模式，按照预设时间间隔以及预设数据量，使用单线程从所述消息中间件中获取所述待同步数据。