[发明专利]数据同步方法、装置、电子设备及可读存储介质

说明书

本发明实施例提供了一种数据同步方法、装置、电子设备及可读存储介质，方法包括：在同步任务启动的情况下，获取增量数据同步请求，并向中转服务器发送所述增量数据同步请求，响应于增量数据同步请求，检测是否收到中转服务器发送的第一同步完成标识，以根据第一同步完成标识确定增量数据已同步到HDFS文件，在增量数据已同步到HDFS文件的情况下，在列式数据库中创建与源表对应的临时表，并将HDFS文件中的增量数据同步到临时表中与源分区对应的分区中，在增量数据已同步到分区的情况下，将正式表标识对应的正式表中每个目标分区的数据，同步到临时表中与目标分区对应的分区中，提高了数据同步效率，降低了人力成本。

技术领域

本发明涉及计算机技术领域，特别是涉及数据同步方法、装置、电子设备及可读存储介质。

背景技术

随着信息技术的飞速发展，网络的普及化程度越来越高，应用短视频平台的用户越来越多，用户通过短视频平台上传自己的作品，并可以查看自己的作品的推荐量、播放量、播放时长等数据。

然而，如果某个用户的作品的数量比较大，例如几千甚至上万个作品，则用户查询自己的作品的推荐量、播放量、播放时长等数据时，会造成查询速度非常慢的问题。为了解决该问题，需要将数据仓库的数据表中的数据(例如Hive数据)同步到列式数据库的数据表(例如Clickhouse数据库)。目前，通常采用全量数据同步方案同步数据仓库中的数据表中的数据，全量数据同步为：手动创建分布式文件系统(HDFS，Hadoop Distributed FileSystem)文件，将数据仓库中的数据表的全量数据同步到HDFS文件，在Clickhouse数据库手动创建数据表，将HDFS文件中的数据同步该数据表；在Clickhouse数据库手动创建一个目标表，再将该数据表中的数据同步到目标表。

因此，目前的数据同步方案的过程比较繁琐，数据同步效率较低，并且人力成本较高。

发明内容

本发明实施例的目的在于提供一种数据同步方法、装置、电子设备及可读存储介质，以实现简化数据同步过程，提高数据同步效率、以及降低人力成本。具体技术方案如下：

在本发明实施的第一方面，首先提供了一种数据同步方法，应用于包括中转服务器和数据库服务器的系统；包括：

所述数据库服务器在同步任务启动的情况下，获取增量数据同步请求，并向所述中转服务器发送所述增量数据同步请求，其中，所述增量数据同步请求中包括数据仓库中的源表标识、与所述源表标识对应的源表的源分区标识、以及列式数据库中的与所述源表标识对应的正式表标识；

所述中转服务器响应于所述增量数据同步请求，创建分布式文件系统HDFS文件，并从数据仓库服务器获取所述源分区标识对应的源分区中的增量数据，并将增量数据同步到所述HDFS文件，；

所述数据库服务器响应于所述增量数据同步请求，检测是否收到所述中转服务器发送的第一同步完成标识，以根据所述第一同步完成标识确定所述增量数据已同步到所述HDFS文件；

在所述增量数据已同步到所述HDFS文件的情况下，所述数据库服务器在所述列式数据库中创建与所述源表对应的临时表，并将所述HDFS文件中的所述增量数据同步到所述临时表中与所述源分区对应的分区中；

在所述增量数据已同步到所述分区的情况下，所述数据库服务器将所述正式表标识对应的正式表中每个目标分区的数据，同步到所述临时表中与所述目标分区对应的分区中。

在本发明实施的第二方面，提供了一种数据同步方法，执行于数据库服务器，包括：

在同步任务启动的情况下，获取增量数据同步请求，并向中转服务器发送所述增量数据同步请求，其中，所述增量数据同步请求中包括数据仓库中的源表标识、与所述源表标识对应的源表的源分区标识、以及列式数据库中的与所述源表标识对应的正式表标识；