[发明专利]hive表增量数据同步方法、装置、计算机设备及存储介质

权利要求书

1.一种hive表增量数据同步方法，其特征在于，包括下述步骤：

根据触发的数据同步指令，从目标数据表读取待同步增量数据；

对于每条待同步增量数据，确定待同步增量数据对应的已存数据在hive表中的分区目录，并将所述分区目录标记为变动目录；

对于每个变动目录，调用对应的spark进程提取变动目录中的已存数据；

在提取到的已存数据中确定保留数据；

将所述待同步增量数据和所述保留数据进行合并得到待存储文件；

通过各spark进程并行将各变动目录中的已存数据替换为待存储文件。

2.根据权利要求1所述的hive表增量数据同步方法，其特征在于，在所述根据触发的数据同步指令，从目标数据表读取待同步增量数据的步骤之前，还包括：

向设置有数据库的存储服务器发送数据查询指令；

获取所述存储服务器根据所述数据查询指令返回的所述数据库的数据统计信息；

当所述数据统计信息未达到预设阈值时，将所述数据库中的数据表设置为目标数据表。

3.根据权利要求2所述的hive表增量数据同步方法，其特征在于，所述获取所述存储服务器根据所述数据查询指令返回的所述数据库的数据统计信息的步骤之后，还包括：

当所述数据统计信息达到预设阈值时，对所述数据库进行监测；

当监测到所述目标数据库发生数据变动时，将变动的数据作为待同步增量数据存储到目标数据表中。

4.根据权利要求1所述的hive表增量数据同步方法，其特征在于，所述对于每条待同步增量数据，确定待同步增量数据对应的已存数据在hive表中的分区目录，并将所述分区目录标记为变动目录的步骤包括：

对于每条待同步增量数据，获取待同步增量数据的创建时间；

在hive表中查询所述创建时间所对应的分区目录；

将查询到的分区目录标记为变动目录，其中，所述变动目录存储有所述待同步增量数据的已存数据。

5.根据权利要求1所述的hive表增量数据同步方法，其特征在于，所述对于每个变动目录，调用对应的spark进程提取变动目录中的已存数据的步骤之前，还包括：

获取标记的变动目录的目录数量；

创建与所述目录数量匹配的spark进程，并将所述标记的变动目录与创建的spark进程相关联。

6.根据权利要求1所述的hive表增量数据同步方法，其特征在于，所述将所述待同步增量数据和所述保留数据进行合并得到待存储文件的步骤包括：

查询所述变动目录所对应的数据格式；

根据所述数据格式对所述待同步增量数据进行格式转换；

将格式转换后的待同步增量数据与所述保留数据进行合并，得到待存储文件；

在HDFS的临时目录中创建待存储目录，并将所述待存储文件添加到所述待存储目录中。

7.根据权利要求6所述的hive表增量数据同步方法，其特征在于，所述通过各spark进程并行将各变动目录中的已存数据替换为待存储文件的步骤包括：

从所述hive表中删除各变动目录，并通过各spark进程将生成的待存储目录并行移动到所述hive表。

8.一种hive表增量数据同步装置，其特征在于，包括：

数据读取模块，用于根据触发的数据同步指令，从目标数据表读取待同步增量数据；

目录确定模块，用于对于每条待同步增量数据，确定待同步增量数据对应的已存数据在hive表中的分区目录，并将所述分区目录标记为变动目录；

数据提取模块，用于对于每个变动目录，调用对应的spark进程提取变动目录中的已存数据；

数据确定模块，用于在提取到的已存数据中确定保留数据；

数据合并模块，用于将所述待同步增量数据和所述保留数据进行合并得到待存储文件；

数据替换模块，用于通过各spark进程并行将各变动目录中的已存数据替换为待存储文件。