[发明专利]hive表增量数据同步方法、装置、计算机设备及存储介质

说明书

本申请实施例属于大数据领域，涉及一种hive表增量数据同步方法，包括根据触发的数据同步指令，从目标数据表读取待同步增量数据；对于每条待同步增量数据，确定待同步增量数据对应的已存数据在hive表中的分区目录，并将所述分区目录标记为变动目录；对于每个变动目录，调用对应的spark进程提取变动目录中的已存数据；在提取到的已存数据中确定保留数据；将所述待同步增量数据和所述保留数据进行合并得到待存储文件；通过各spark进程并行将各变动目录中的已存数据替换为待存储文件。本申请还提供一种hive表增量数据同步装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，待存储文件可存储于区块链中。本申请提高了hive表增量数据的同步效率。

技术领域

本申请涉及大数据技术领域，尤其涉及一种hive表增量数据同步方法、装置、计算机设备及存储介质。

背景技术

随着计算机技术的发展，每天的生产生活都会产生大量的数据，使得大数据技术得到了极大的应用和发展。数据仓库是大数据领域中的重要概念，它出于分析性报告和决策支持目的而创建，可以为企业各级别的决策制定过程，而HIVE又是当前一种主流的数据仓库组件。

当前的数据仓库组件HIVE，只能追加数据，不允许对已经存储的历史数据进行修改。上游数据库中的数据进行了更新修改会产生增量数据，若要对增量数据进行同步，需要将整个HIVE表中的所有已存数据删除，重新从上游同步所有数据，造成IO资源浪费、增量数据同步效率低；且HIVE在执行插入数据的操作时，只能将数据一条一条地插入，耗费时间较长，进一步使得增量数据同步效率低下。

发明内容

本申请实施例的目的在于提出一种hive表增量数据同步方法、装置、计算机设备及存储介质，以解决hive表增量数据同步效率较低的问题。

为了解决上述技术问题，本申请实施例提供一种hive表增量数据同步方法，采用了如下所述的技术方案：

根据触发的数据同步指令，从目标数据表读取待同步增量数据；

对于每条待同步增量数据，确定待同步增量数据对应的已存数据在hive表中的分区目录，并将所述分区目录标记为变动目录；

对于每个变动目录，调用对应的spark进程提取变动目录中的已存数据；

在提取到的已存数据中确定保留数据；

将所述待同步增量数据和所述保留数据进行合并得到待存储文件；

通过各spark进程并行将各变动目录中的已存数据替换为待存储文件。

进一步的，在所述根据触发的数据同步指令，从目标数据表读取待同步增量数据的步骤之前，还包括：

向设置有数据库的存储服务器发送数据查询指令；

获取所述存储服务器根据所述数据查询指令返回的所述数据库的数据统计信息；

当所述数据统计信息未达到预设阈值时，将所述数据库中的数据表设置为目标数据表。

进一步的，所述获取所述存储服务器根据所述数据查询指令返回的所述数据库的数据统计信息的步骤之后，还包括：

当所述数据统计信息达到预设阈值时，对所述数据库进行监测；

当监测到所述目标数据库发生数据变动时，将变动的数据作为待同步增量数据存储到目标数据表中。

进一步的，所述对于每条待同步增量数据，确定待同步增量数据对应的已存数据在hive表中的分区目录，并将所述分区目录标记为变动目录的步骤包括：

对于每条待同步增量数据，获取待同步增量数据的创建时间；

在hive表中查询所述创建时间所对应的分区目录；