[发明专利]在HIVE中数据迁移方法、装置及终端设备

权利要求书

1.一种在HIVE中数据迁移方法，其特征在于，包括如下步骤：

将源数据库的数据文件通过Hive映射为源表；

根据数据记录的长度统计源表的预设分区的数据记录条数，利用断言函数判断源表的预设分区是否存在数据记录，当所述源表的预设分区的数据记录条数大于零时，确定所述源表的预设分区存在数据记录；

当所述源表的预设分区存在数据记录时，获取所述源表的预设分区的数据记录；

将所述源表的预设分区的数据记录进行加工处理，形成加工后的数据记录后写入目标数据库的目标表的对应分区中；

利用断言函数判断目标表对应分区的数据记录条数与源表预设分区的数据记录条数是否相同，若相同，删除源表的预设分区的数据记录。

2.根据权利要求1所述的方法，其特征在于，在所述判断源表的预设分区是否存在数据记录之后，还包括：当所述源表的预设分区不存在数据记录时，输出异常信息并停止执行后续操作。

3.根据权利要求1所述的方法，其特征在于，在所述判断目标表对应分区的数据记录数与源表预设分区的数据记录数是否相同之后，还包括：若不相同，输出异常信息并停止执行后续步骤。

4.一种在HIVE中数据迁移装置，其特征在于，包括：

加载模块：用于将源数据库的数据文件通过Hive映射为源表；

判断模块：用于根据数据记录的长度统计源表的预设分区的数据记录条数，利用断言函数判断源表的预设分区是否存在数据记录，当所述源表的预设分区的数据记录条数大于零时，确定所述源表的预设分区存在数据记录；

获取模块：用于当所述源表的预设分区存在数据记录时，获取所述源表的预设分区的所有字段的数据记录；

迁移模块：用于将所述源表的预设分区的数据记录进行加工处理，形成加工后的数据记录后写入目标数据库的目标表的对应分区中；

删除模块：用于利用断言函数判断目标表对应分区的数据记录条数与源表预设分区的数据记录条数是否相同，若相同，删除源表的预设分区的数据记录。

5.一种终端设备，包括处理器及存储器，所述存储器中存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-3任意一项所述方法的步骤。