[发明专利]基于Hive的数据处理方法、装置、计算机设备及存储介质

权利要求书

1.一种基于Hive的数据处理方法，其特征在于，包括：

若接收到数据更新指令，从所述数据更新指令中获取待更新数据表，并根据所述待更新数据表与原数据表进行全量关联，以建立第一临时转换表，其中，所述数据更新指令包括待更新数据表以及更新条件；

根据所述第一临时转换表中来源于所述待更新数据表的预设主键与来源于所述原数据表的预设主键之间的对比对所述原数据表进行更新以得到初始目标数据表；

根据所述更新条件对所述初始目标数据表进行筛选以建立第二临时转换表；

根据所述第二临时转换表的预设主键与所述初始目标数据表的预设主键之间的对比对所述初始目标数据表进行更新以得到目标数据表；

将所述目标数据表与所述原数据表进行对比以得到更新表以及删除表；

将所述更新表以及所述删除表发送至预设数据库中进行数据同步更新；

所述根据所述第一临时转换表中来源于所述待更新数据表的预设主键与来源于所述原数据表的预设主键之间的对比对所述原数据表进行更新以得到初始目标数据表，包括：

在所述第一临时转换表中，将来源于所述待更新数据表的预设主键与来源于所述原数据表的预设主键进行对比；

若来源于所述待更新数据表的预设主键与来源于所述原数据表的预设主键相同，则保留来源于所述待更新数据表的预设主键对应的记录并删除来源于所述原数据表的预设主键对应的记录以得到处理后的第一临时转换表；

将所述处理后的第一临时转换表对所述原数据表进行覆盖，以得到初始目标数据表；

所述根据所述第二临时转换表的预设主键与所述初始目标数据表的预设主键之间的对比对所述初始目标数据表进行更新以得到目标数据表，包括：

将所述第二临时转换表的预设主键与所述初始目标数据表的预设主键进行对比；

若所述第二临时转换表的预设主键与所述初始目标数据表的预设主键相同，则在所述初始目标数据表中删除相同的预设主键对应的记录以得到对比结果；

根据所述对比结果建立对比结果表并将所述对比结果表对所述初始目标数据表进行覆盖以得到目标数据表。

2.根据权利要求1所述的基于Hive的数据处理方法，其特征在于，所述将所述目标数据表与所述原数据表进行对比以得到更新表以及删除表，包括：

根据预设字段对所述目标数据表进行字段拼接以得到第一拼接字段，以及对所述原数据表进行字段拼接以得到第二拼接字段；

将相对应的所述第一拼接字段与所述第二拼接字段进行对比；

若所述第一拼接字段与所述第二拼接字段不同，将所述第一拼接字段对应的记录作为第一对比结果；

若所述目标数据表中存在与所述原数据表不相对应的所述第一拼接字段，将所述第一拼接字段对应的记录作为第二对比结果；

若所述原数据表中存在与所述目标数据表不相对应的所述第二拼接字段，将所述第二拼接字段对应的记录作为第三对比结果；

根据所述第一对比结果以及所述第二对比结果建立更新表，以及根据所述第三对比结果建立删除表。