[发明专利]数据同步方法、装置、电子设备及可读存储介质

权利要求书

1.一种数据同步方法，其特征在于，应用于包括中转服务器和数据库服务器的系统；包括：

所述数据库服务器在同步任务启动的情况下，获取增量数据同步请求，并向所述中转服务器发送所述增量数据同步请求，其中，所述增量数据同步请求中包括数据仓库中的源表标识、与所述源表标识对应的源表的源分区标识、以及列式数据库中的与所述源表标识对应的正式表标识；

所述中转服务器响应于所述增量数据同步请求，创建分布式文件系统HDFS文件，并从数据仓库服务器获取所述源分区标识对应的源分区中的增量数据，并将增量数据同步到所述HDFS文件；

所述数据库服务器响应于所述增量数据同步请求，检测是否收到所述中转服务器发送的第一同步完成标识，以根据所述第一同步完成标识确定所述增量数据已同步到所述HDFS文件；

在所述增量数据已同步到所述HDFS文件的情况下，所述数据库服务器在所述列式数据库中创建与所述源表对应的临时表，并将所述HDFS文件中的所述增量数据同步到所述临时表中与所述源分区对应的分区中；

在所述增量数据已同步到所述分区的情况下，所述数据库服务器将所述正式表标识对应的正式表中每个目标分区的数据，同步到所述临时表中与所述目标分区对应的分区中。

2.一种数据同步方法，其特征在于，执行于数据库服务器，包括：

在同步任务启动的情况下，获取增量数据同步请求，并向中转服务器发送所述增量数据同步请求，其中，所述增量数据同步请求中包括数据仓库中的源表标识、与所述源表标识对应的源表的源分区标识、以及列式数据库中的与所述源表标识对应的正式表标识；

响应于所述增量数据同步请求，检测是否收到所述中转服务器发送的第一同步完成标识，以根据所述第一同步完成标识确定所述增量数据已同步到HDFS文件；

在所述增量数据已同步到所述HDFS文件的情况下，在所述列式数据库中创建与所述源表对应的临时表，并将所述HDFS文件中的所述增量数据同步到所述临时表中与所述源分区对应的分区中；

在所述增量数据已同步到所述分区的情况下，将所述正式表标识对应的正式表中每个目标分区的数据，同步到所述临时表中与所述目标分区对应的分区中。

3.根据权利要求2所述的方法，其特征在于，在所述将所述正式表标识对应的正式表中每个目标分区的数据，同步到所述临时表中与所述目标分区对应的分区中之后，还包括：

在完成所述每个目标分区的数据同步的情况下，将所述正式表标识更改为预设标识，并将所述临时表的标识更改为所述正式表标识，并删除所述预设标识对应的正式表，以将所述临时表作为当前的正式表。

4.根据权利要求2或3所述的方法，其特征在于，还包括：

获取将所述HDFS文件中的所述增量数据同步到所述临时表中与所述源分区对应的分区所需的第一时长、以及第二时长中的至少一个时长，其中，所述第二时长为将所述每个目标分区的数据，同步到所述临时表中与所述目标分区对应的分区中所需的时长；

若所述第一时长大于等于第一预设时长，则向目标终端设备发送第一预警信息；和/或，若所述第二时长大于等于第二预设时长，则向所述目标终端设备发送第二预警信息。

5.根据权利要求2或3所述的方法，其特征在于，还包括：

接收查询请求，并生成与所述查询请求对应的查询标识；

检测所述查询标识对应的查询任务的执行状态；

在所述执行状态为异常状态的情况下，将当前的异常次数累加1，以获得当前新的异常次数；

若所述当前新的异常次数大于或等于预设阈值，则向目标终端设备发送第三预警信息。