[发明专利]同步数据处理方法、装置、计算机设备及存储介质

权利要求书

1.一种同步数据处理方法，其特征在于，包括下述步骤：

接收数据同步指令；

根据所述数据同步指令，通过数据同步组件获取待同步数据，所述待同步数据来自数据源或者异常集群节点；

将所述待同步数据以填充缓存行的方式加载到无锁循环缓冲区；

通过预设的数据处理线程对所述无锁循环缓冲区中的所述待同步数据进行处理，完成同步数据处理。

2.根据权利要求1所述的同步数据处理方法，其特征在于，在所述接收数据同步指令的步骤之前，还包括：

根据数据源发送的数据同步请求，触发数据同步指令；或者，

获取集群中各节点的工作状态信息；

根据所述工作状态信息确定异常集群节点，所述异常集群节点包括过载节点和故障节点；

根据所述异常集群节点生成数据同步指令。

3.根据权利要求1所述的同步数据处理方法，其特征在于，所述根据所述数据同步指令，通过数据同步组件获取待同步数据的步骤包括：

从所述数据同步指令中获取数据来源标识；

根据所述数据来源标识，确定数据同步组件，所述数据同步组件包括数据库同步组件、中间件同步组件、接口同步组件和复合同步组件；

通过确定的数据同步组件获取待同步数据。

4.根据权利要求3所述的同步数据处理方法，其特征在于，当所述待同步数据来自异常集群节点时，所述通过确定的数据同步组件获取待同步数据的步骤包括：

确定异常集群节点的无锁循环缓冲区内的未读数据对象；

从所述无锁循环缓冲区的尾部向前读取未读数据对象；

通过所述数据同步组件获取读取到的未读数据对象中的待同步数据。

5.根据权利要求1所述的同步数据处理方法，其特征在于，所述将所述待同步数据以填充缓存行的方式加载到无锁循环缓冲区的步骤包括：

查询无锁循环缓冲区中的可用数据对象；

将所述待同步数据以填充缓存行的方式加载到所述可用数据对象中。

6.根据权利要求1所述的同步数据处理方法，其特征在于，所述通过预设的数据处理线程对所述无锁循环缓冲区中的所述待同步数据进行处理，完成同步数据处理的步骤包括：

通过数据验证线程验证所述无锁循环缓冲区中，所述待同步数据的数字签名；

当对所述数字签名验证通过时，通过去重线程确定所述待同步数据中的重复数据，并对所述重复数据进行去重处理；

获取去重处理后所述待同步数据的数据标识；

通过与所述数据标识所对应的数据标准化线程，对所述待同步数据进行标准化处理，得到标准数据；

将所述标准数据发送至预设的数据应用线程，完成同步数据处理；或者，

将所述标准数据进行存储，完成同步数据处理。

7.根据权利要求6所述的同步数据处理方法，其特征在于，所述当对所述数字签名验证通过时，通过去重线程确定所述待同步数据中的重复数据，并对所述重复数据进行去重处理的步骤之后，还包括：

通过持久存储线程获取去重处理后所述待同步数据的同步时间；

根据所述同步时间确定所述待同步数据的硬盘写入顺序；

按照所述硬盘写入顺序将所述待同步数据持久化到硬盘，以完成数据备份。

8.一种同步数据处理装置，其特征在于，包括：

指令接收模块，用于接收数据同步指令；

数据获取模块，用于根据所述数据同步指令，通过数据同步组件获取待同步数据，其中，所述待同步数据来自数据源或者异常集群节点；

数据加载模块，用于将所述待同步数据以填充缓存行的方式加载到无锁循环缓冲区；

数据处理模块，用于通过预设的数据处理线程对所述无锁循环缓冲区中的所述待同步数据进行处理，完成同步数据处理。

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的同步数据处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的同步数据处理方法的步骤。