[发明专利]在HIVE中数据迁移方法、装置及终端设备

说明书

本发明涉及数据处理领域，具体涉及一种在HIVE中数据迁移方法、装置及终端设备，所述方法包括步骤：将源数据库的数据文件通过Hive映射为源表；判断源表的预设分区是否存在数据记录；当所述源表的预设分区存在数据记录时，获取所述源表的预设分区的所有字段的数据记录；将所述源表的预设分区的数据记录写入目标数据库的目标表的对应分区中。发明通过HIVE将源数据库的数据文件映射为源表，利用HIVE的分区属性通过写查询语言的方式将数据从源表一部分一部分地写入目标表中，以完成源数据库的数据迁移至目标数据库，操作简单，逻辑清晰明了。

【技术领域】

本发明涉及数据处理领域，具体涉及一种在HIVE中数据迁移方法、装置及终端设备。

【背景技术】

在大数据时代，数据格式越来越多种，数据量越来越庞大，有时候需要把数据从一个数据库迁移至另一个数据库，相应地，也就是要把数据从一个表迁移至另外一个表，数据迁移包括迁移和删除操作，目前，数据迁移操作一是由人工手动完成，而人工手动完成费时且麻烦，或是在服务器写shell脚本完成，而利用shell脚本完成所需逻辑复杂也麻烦，因此需要一种新的方案来解决大量数据的迁移问题。

【发明内容】

本发明的目的在于提供一种在HIVE中数据迁移方法，以将大量数据从源表(源数据库)迁移至目标表(目标数据库)中。

为实现该目的，本发明采用如下技术方案：

第一方面，本发明提供一种在HIVE中数据迁移方法，包括如下步骤：

将源数据库的数据文件通过Hive映射为源表；

判断源表的预设分区是否存在数据记录；

当所述源表的预设分区存在数据记录时，获取所述源表的预设分区的所有字段的数据记录；

将所述源表的预设分区的数据记录写入目标数据库的目标表的对应分区中。

进一步的，在所述将所述源表的预设分区的数据记录写入目标数据库的目标表的对应分区中之后，还包括：

判断目标表对应分区的数据记录条数与源表预设分区的数据记录条数是否相同，若相同，删除源表的预设分区的数据记录。

具体的，所述判断源表的预设分区是否存在数据记录，当所述源表的预设分区存在数据记录时的步骤，包括：

利用断言函数判断源表的预设分区是否存在数据记录；

当所述源表的预设分区的数据记录条数大于零时，确定所述源表的预设分区存在数据记录。

优选的，所述判断目标表对应分区的数据记录条数与源表预设分区的数据记录条数是否相同，包括：

利用断言函数判断目标表对应分区的数据记录数与源表预设分区的数据记录数是否相同。

较佳的，在所述断源表的预设分区是否存在数据记录之后，当所述源表的预设分区不存在数据记录时，输出异常信息并停止执行后续操作。

较佳的，在所述判断目标表对应分区的数据记录数与源表预设分区的数据记录数是否相同之后，若不相同，输出异常信息并停止执行后续步骤。

进一步的，所述将所述源表的预设分区的数据记录写入目标数据库的目标表的对应分区中，包括：

将所述源表的预设分区的数据记录进行加工处理，形成加工后的数据记录后写入目标数据库的目标表的对应分区中。

第二方面，本发明还提供一种在HIVE中数据迁移装置，包括：

加载模块：用于将源数据库的数据文件通过Hive映射为源表；

判断模块：用于判断源表的预设分区是否存在数据记录；