[发明专利]一种数据库同步方法、终端以及存储介质

说明书

本发明公开了一种数据库同步方法、终端及存储介质。所述方法包括：从第一数据库中读取数据，并抓取所述第一数据库中的动态数据日志；将从所述第一数据库中读取的数据加入至等待队列；确定所述等待队列中的数据的错位类别，根据所述动态数据日志将所述等待队列中错位类别为第一类别的错位数据进行重排列；将重排列后的数据同步至第二数据库。本发明提供的数据库同步方法通过将从第一数据库中读取的数据缓存值等待队列，并对等待队列中的错位数据进行重排列后同步至第二数据库，避免了数据库同步后数据同一性差的问题。

技术领域

本发明涉及大数据技术领域，特别涉及一种数据库同步方法、终端以及存储介质。

背景技术

在现有技术中，杂合数据库广为应用，现有的数据库同步机制较为依赖源数据库，易对源数据产生影响，并且在同步过程中常常会出现数据错位，导致数据库同步后不能保证数据同一性。

因此，现有技术还有待改进和提高。

发明内容

针对现有技术的上述缺陷，提供一种数据库同步方法、终端及存储介质，旨在解决现有技术中数据库同步过程中不能保证数据同一性的问题。

本发明的第一方面，提供一种数据库同步方法，包括：

从第一数据库中读取数据，并抓取所述第一数据库中的动态数据日志；

将从所述第一数据库中读取的数据加入至等待队列；

确定所述等待队列中的数据的错位类别，根据所述动态数据日志将所述等待队列中错位类别为第一类别的错位数据进行重排列；

将重排列后的数据同步至第二数据库。

所述的数据库同步方法，其中，所述从第一数据库中读取数据，包括：

通过LinkedIn数据总线从所述第一数据库中读取数据。

所述的数据库同步方法，其中，所述将从所述第一数据库中读取的数据加入至等待队列，包括：

采用RabbitMQ工程缓存，将从所述第一数据库中读取的数据加入至所述等待队列。

所述的数据库同步方法，其中，所述根据所述动态数据日志将所述等待队列中错位类别为第一类别的错位数据进行重排列，包括：

当所述等待队列中的数据的错位类别为第一类别时，提取所述等待队列中的错位数据至限制引擎中；

当所述限制引擎中的内容不为空时，将所述限制引擎中的数据进行重排列。

所述的数据库同步方法，其中，所述将所述限制引擎中的数据进行重排列，包括：

根据所述动态数据日志获取从所述第一数据库中读取数据的数据读取时间、以及数据总线运行时间；

根据所述数据读取时间和所述数据总线运行时间对所述限制引擎中的数据进行重排列。

所述的数据库同步方法，其中，所述确定所述等待队列中的数据的错位类别之后，所述方法还包括：

当所述等待队列中数据的错位类别为第二类别时，启动数据同步状态监管。

所述的数据库同步方法，其中，所述将重排列后的数据上传至第二数据库，包括：

当所述限制引擎中的内容为空时，将重排列后的数据加入至上传队列；

收集所述上传队列中的缓存数据，并将所述上传队列中的缓存数据同步至所述第二数据库。

所述的数据库同步方法，其中，所述收集所述上传队列中的缓存数据之后，包括：

将所述上传队列转换成适用的UPSERT或DELETE队列。