[发明专利]基于Hive实现MongoDB的联表查询的方法及系统

权利要求书

1.基于Hive实现MongoDB的联表查询的方法，其特征在于：包括以下的步骤：

S1、目标字段的导出，通过mongoexport命令将MongoDB多张表中的不同的目标字段以Json格式导出；

S2、HDFS中数据的导入，通过Sqoop将Json格式的数据导入到HDFS；

S3、Hive表中数据的插入，HDFS对数据进行格式校验及转换后，将数据插入到Hive表；

S4、在Hive表上对数据进行联表查询。

2.如权利要求1所述的基于Hive实现MongoDB的联表查询的方法，其特征在于：所述S1中的目标字段为不同表、不同库或不同服务器上的不同数据库的目标字段。

3.如权利要求1所述的基于Hive实现MongoDB的联表查询的方法，其特征在于：所述S2包括以下的步骤：

S21、Sqoop将Json数据转换成Json文档；

S22、将数据导入到HDFS。

4.如权利要求1所述的基于Hive实现MongoDB的联表查询的方法，其特征在于：所述S3包括以下的步骤：

S31、通过Hive自身的数据加载命令，将HDFS上的Json文档数据导入到Json格式的Hive表格中，每个字段存储的是Json数据；

S32、利用Hive的类SQL和正则表达式，将Json格式的Hive表格中的数据读取转换成oracle格式Hive表所需要的数据；

S33、将数据插入到oracle格式的Hive表。

5.基于Hive实现MongoDB的联表查询的系统，其特征在于：包括数据导出单元、数据导入单元、数据插入单元和联表查询单元，其中，

所述数据导出单元，用于通过mongoexport命令将MongoDB多张表中的不同的目标字段以Json格式导出；

所述数据导入单元，与所述数据导出单元连接，用于接收数据导出单元导出的Json格式的数据，通过Sqoop将Json格式的数据导入到HDFS；

所述数据插入单元，与所述数据导入单元连接，用于接收数据导入单元导入的数据，通过HDFS对数据进行格式校验及转换后，将数据插入到Hive表；

所述联表查询单元，与所述数据插入单元连接，接收数据插入单元插入的数据，在Hive表上对数据进行联表查询。

6.如权利要求5所述的基于Hive实现MongoDB的联表查询的系统，其特征在于：所述目标字段为不同表、不同库或不同服务器上的不同数据库的目标字段。

7.如权利要求5所述的基于Hive实现MongoDB的联表查询的系统，其特征在于：所述数据导入单元，包括数据转换模块和第一数据导入模块，其中，

所述数据转换模块，与所述数据导出单元连接，接收数据导出单元导出的Json格式的数据，通过Sqoop将Json数据转换成Json文档；

所述第一数据导入模块，与所述数据转换模块连接，接收数据转换模块转换的Json文档，将数据导入到HDFS。

8.如权利要求7所述的基于Hive实现MongoDB的联表查询的系统，其特征在于：所述数据插入单元，包括第二数据导入模块、读取转换模块和插入模块，其中，

所述第二数据导入模块，与所述第一数据导入模块连接，接收第一数据导入模块导入到HDFS上的数据，将HDFS上的Json文档数据导入到Json格式的Hive表格中；

所述读取转换模块，与所述第二数据导入模块连接，接收第二数据导入模块导入的数据，将Json格式的Hive表格中的数据读取转换成oracle格式Hive表所需要的数据；

所述插入模块，与所述读取转换模块连接，接收读取转换模块转换的用于oracle格式Hive表所需要的数据，将数据插入到oracle格式的Hive表。