[发明专利]同步数据处理方法、装置、计算机设备及存储介质

说明书

本申请实施例属于大数据领域，涉及一种同步数据处理方法、装置、计算机设备及存储介质，所述方法包括：接收数据同步指令；根据数据同步指令，通过数据同步组件获取待同步数据，待同步数据来自数据源或者异常集群节点；将待同步数据以填充缓存行的方式加载到无锁循环缓冲区；通过预设的数据处理线程对无锁循环缓冲区中的待同步数据进行处理，完成同步数据处理。此外，本申请还涉及区块链技术，完成处理的待同步数据还可存储于区块链中。本申请提高了同步数据处理效率。

技术领域

本申请涉及大数据技术领域，尤其涉及一种同步数据处理方法、装置、计算机设备及存储介质。

背景技术

随着计算机技术的发展，大数据相关的应用也越来越广泛。数据同步是大数据应用中很常见的一环，为了更好地对海量数据进行同步，出现了一些数据同步工具。

但是在实际应用中，由于数据源渠道复杂，数据同步工具有时难以直接从数据源同步数据，影响同步速度。而且，现有的数据同步工具在使用中均存在一些缺点，例如，数据同步工具仅能实现数据同步，功能单一，在使用已同步的数据时需要花费额外的时间进行数据处理；此外，现有的数据同步工具同步速度有限，在数据量较大时数据同步效率较低。

发明内容

本申请实施例的目的在于提出一种同步数据处理方法、装置、计算机设备及存储介质，以解决同步数据处理效率较低的问题。

为了解决上述技术问题，本申请实施例提供一种同步数据处理方法，采用了如下所述的技术方案：

接收数据同步指令；

根据所述数据同步指令，通过数据同步组件获取待同步数据，所述待同步数据来自数据源或者异常集群节点；

将所述待同步数据以填充缓存行的方式加载到无锁循环缓冲区；

通过预设的数据处理线程对所述无锁循环缓冲区中的所述待同步数据进行处理，完成同步数据处理。

为了解决上述技术问题，本申请实施例还提供一种同步数据处理装置，采用了如下所述的技术方案：

指令接收模块，用于接收数据同步指令；

数据获取模块，用于根据所述数据同步指令，通过数据同步组件获取待同步数据，其中，所述待同步数据来自数据源或者异常集群节点；

数据加载模块，用于将所述待同步数据以填充缓存行的方式加载到无锁循环缓冲区；

数据处理模块，用于通过预设的数据处理线程对所述无锁循环缓冲区中的所述待同步数据进行处理，完成同步数据处理。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：

接收数据同步指令；

根据所述数据同步指令，通过数据同步组件获取待同步数据，所述待同步数据来自数据源或者异常集群节点；

将所述待同步数据以填充缓存行的方式加载到无锁循环缓冲区；

通过预设的数据处理线程对所述无锁循环缓冲区中的所述待同步数据进行处理，完成同步数据处理。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

接收数据同步指令；

根据所述数据同步指令，通过数据同步组件获取待同步数据，所述待同步数据来自数据源或者异常集群节点；

将所述待同步数据以填充缓存行的方式加载到无锁循环缓冲区；

通过预设的数据处理线程对所述无锁循环缓冲区中的所述待同步数据进行处理，完成同步数据处理。