[发明专利]一种将数据从Hive导入传统数据仓库的方法及装置

说明书

技术领域

本发明涉及数据传输技术领域，特别是涉及一种将数据从Hive导入传统数据仓库的方法及装置。

背景技术

随着互联网技术的普及以及现代企业对于数据的重视，企业日常经营过程中记录的数据量呈指数级增长，因此，通常采用数据仓库来存储数据。传统的数据仓库(例如，MySQL、Oracle、Postgres等)在数据量过大时将会导致提取数据缓慢。在此基础上，采用Hadoop(一种分布式系统基础架构)+Hive的数据仓库模式，使得数据仓库在数据量上不再有限制，在一定程度上解决了上述问题，但也有灵活性不足的缺点。

因此，现有技术中，将该模式的数据仓库与传统数据仓库结合使用，只将存储、基本分析、提取放在Hadoop+Hive的数据仓库上，更为复杂的放在传统数据仓库中，二者可以互为补充。

为了实现上述两种数据仓库的数据传输，企业需要利用一种便捷的数据传输工具或方法将数据在企业内不同数据仓库之间进行传输。现有的传输工具Sqoop是实现不同数据仓库之间数据导入导出的一个工具。但是，这种方法在软件编写过程中较为繁琐，且需要明确指明HDFS和明确标明行、列分隔符。

由此可见，在将数据导入传统数据仓库的过程中，如何克服软件编写繁琐，以及克服需要明确指明HDFS和明确标明行、列分隔符的问题是本领域技术人员亟待解决地问题。

发明内容

本发明的目的是提供一种将数据从Hive导入传统数据仓库的方法及装置，用于在将数据导入传统数据仓库的过程中，克服软件编写繁琐，以及克服需要明确指明HDFS和明确标明行、列分隔符的问题。

为解决上述技术问题，本发明提供一种将数据从Hive导入传统数据仓库的方法，包括：

继承Hive中的基础类，并根据用户输入的参数编写新类；

依据所述参数在所述新类中重构Evaluate函数，并组装Insert语句；

当接收到用户的导入指令时，调用所述Insert语句以将数据从Hive导入传统数据仓库中。

优选地，还包括：

在所述数据从Hive导入所述传统数据仓库的过程中，调用Try Catch语句以捕捉错误信息。

优选地，还包括：

当捕捉到所述错误信息时，通过日志记录所述错误信息。

优选地，还包括：

在所述数据从Hive导入所述传统数据仓库的过程中，依据服务器的忙闲状态设置数据传输量的最大值。

优选地，所述参数具体包括：控制连接数据库的字符串、表名、需要入表的字段名。

为解决上述技术问题，本发明还提供一种将数据从Hive导入传统数据仓库的装置，包括：

编写单元，用于继承Hive中的基础类，并根据用户输入的参数编写新类；

组装单元，用于依据所述参数在所述新类中重构Evaluate函数，并组装Insert语句；

调用单元，用于当接收到用户的导入指令时，调用所述Insert语句以将数据从Hive导入传统数据仓库中。

优选地，还包括：

捕捉单元，用于在所述数据从Hive导入所述传统数据仓库的过程中，调用Try Catch语句以捕捉错误信息。

优选地，还包括：

记录单元，用于当捕捉到所述错误信息时，通过日志记录所述错误信息。

优选地，还包括：

设置单元，用于在所述数据从Hive导入所述传统数据仓库的过程中，依据服务器的忙闲状态设置数据传输量的最大值。

优选地，所述参数具体包括：控制连接数据库的字符串、表名、需要入表的字段名。

本发明所提供的将数据从Hive导入传统数据仓库的方法，包括继承Hive中的基础类，并根据用户输入的参数编写新类；依据参数在新类中重构Evaluate函数，并组装Insert语句；当接收到用户的导入指令时，调用Insert语句以将数据从Hive导入传统数据仓库中。由此可见，将数据导入传统数据仓库传统数据仓库的过程中，本方法无需指明HDFS和行、列分隔符，且能够克服软件编写繁琐的问题。此外，本发明还提供一种将数据从Hive导入传统数据仓库的装置，效果如上所述。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。