[发明专利]一种数据同步方法、装置、电子设备及存储介质

权利要求书

1.一种数据同步方法，其特征在于，包括：

在将源数据库中的数据条目成功同步至目标数据库时，根据被成功同步的数据条目的同步过程确定所述数据条目的水印数据，所述水印数据用于进行同步历史过程追溯；

利用数据同步线程将被同步成功的数据条目的水印数据写入内存缓冲区；

利用缓冲区消费线程消费所述内存缓冲区中的水印数据，将所述内存缓冲区中的水印数据写入管道文件；

利用管道消费线程消费所述管道文件中的水印数据，将管道文件中的水印数据写入时序数据库中。

2.根据权利要求1所述的数据同步方法，其特征在于，所述利用缓冲区消费线程消费所述内存缓冲区中的水印数据，包括：

按照所述管道文件中存储水印数据的数量，利用缓冲区消费线程消费所述内存缓冲区中相应数量的水印数据；

所述利用管道消费线程消费所述管道文件中的水印数据，包括：

按照所述管道文件中存储水印数据的数量，利用管道消费线程消费所述管道文件中相应数量的水印数据。

3.根据权利要求1所述的数据同步方法，其特征在于，所述方法还包括：

在每次所述缓冲区消费线程消费所述内存缓冲区中的水印数据完毕时，利用缓冲区消费线程管理模块获取所述内存缓冲区的当前可用容量；

若所述当前可用容量小于预设开启新线程阈值，则复刻所述缓冲区消费线程，并为复刻出的缓冲区消费线程创建对应的管道文件；

利用所述缓冲区消费线程及所述复刻出的缓冲区消费线程分别消费所述内存缓冲区中的水印数据，并将所述内存缓冲区中的水印数据分别写入对应的管道文件中。

4.根据权利要求3所述的数据同步方法，其特征在于，所述方法还包括：

若所述当前可用容量大于预设关闭线程阈值，则在复刻出的缓冲区消费线程写入对应的管道文件中的水印数据被消费后，销毁所述复刻出的缓冲区消费线程。

5.根据权利要求1所述的数据同步方法，其特征在于，所述方法还包括：

在复刻所述缓冲区消费线程的数量达到最大阈值时，若利用所述数据同步线程将被同步成功的数据条目的水印数据写入内存缓冲区仍写入失败，放弃写入所述水印数据，并发出报警。

6.根据权利要求1所述的数据同步方法，其特征在于，所述方法还包括：

在每次所述管道消费线程消费所述管道文件中的水印数据完毕时，利用所述管道消费线程管理模块获取当前存在的管道文件的当前数量；

若所述当前数量大于预设开启新管道消费线程阈值，则复刻所述管道消费线程，并确定复刻出的管道消费线程对应消费的管道文件范围；

利用所述管道消费线程及所述复刻出的管道消费线程消费对应管道文件范围内的管道文件中的水印数据，并将管道文件范围内的管道文件中的水印数据分别写入时序数据库。

7.根据权利要求6所述的数据同步方法，其特征在于，所述方法还包括：

若所述当前数量小于预设关闭管道消费线程阈值，则在复刻出的管道消费线程完成对应消费的管道文件范围内的管道文件中的水印数据后，销毁所述复刻出的管道消费线程。

8.一种数据库同步装置，其特征在于，包括：

同步模块，用于在将源数据库中的数据条目成功同步至目标数据库时，根据被成功同步的数据条目的同步过程确定所述数据条目的水印数据，所述水印数据用于进行同步历史过程追溯；

写入模块，用于利用数据同步线程将被同步成功的数据条目的水印数据写入内存缓冲区；

缓冲区消费模块，用于利用缓冲区消费线程消费所述内存缓冲区中的水印数据，将所述内存缓冲区中的水印数据写入管道文件；

管道消费模块，用于利用管道消费线程消费所述管道文件中的水印数据，将管道文件中的水印数据写入时序数据库中。