[发明专利]一种将数据从Hive导入传统数据仓库的方法及装置在审
申请号: | 201710452217.X | 申请日: | 2017-06-15 |
公开(公告)号: | CN107085622A | 公开(公告)日: | 2017-08-22 |
发明(设计)人: | 王黎;肖宇涵 | 申请(专利权)人: | 浙江极赢信息技术有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京集佳知识产权代理有限公司11227 | 代理人: | 罗满 |
地址: | 311121 浙江省杭州市余*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 hive 导入 传统 数据仓库 方法 装置 | ||
1.一种将数据从Hive导入传统数据仓库的方法,其特征在于,包括:
继承Hive中的基础类,并根据用户输入的参数编写新类;
依据所述参数在所述新类中重构Evaluate函数,并组装Insert语句;
当接收到用户的导入指令时,调用所述Insert语句以将数据从Hive导入传统数据仓库中。
2.根据权利要求1所述的方法,其特征在于,还包括:
在所述数据从Hive导入所述传统数据仓库的过程中,调用Try Catch语句以捕捉错误信息。
3.根据权利要求2所述的方法,其特征在于,还包括:
当捕捉到所述错误信息时,通过日志记录所述错误信息。
4.根据权利要求1所述的方法,其特征在于,还包括:
在所述数据从Hive导入所述传统数据仓库的过程中,依据服务器的忙闲状态设置数据传输量的最大值。
5.根据权利要求1-4任意一项所述的方法,其特征在于,所述参数具体包括:控制连接数据库的字符串、表名、需要入表的字段名。
6.一种将数据从Hive导入传统数据仓库的装置,其特征在于,包括:
编写单元,用于继承Hive中的基础类,并根据用户输入的参数编写新类;
组装单元,用于依据所述参数在所述新类中重构Evaluate函数,并组装Insert语句;
调用单元,用于当接收到用户的导入指令时,调用所述Insert语句以将数据从Hive导入传统数据仓库中。
7.根据权利要求6所述的装置,其特征在于,还包括:
捕捉单元,用于在所述数据从Hive导入所述传统数据仓库的过程中,调用Try Catch语句以捕捉错误信息。
8.根据权利要求7所述的装置,其特征在于,还包括:
记录单元,用于当捕捉到所述错误信息时,通过日志记录所述错误信息。
9.根据权利要求6所述的装置,其特征在于,还包括:
设置单元,用于在所述数据从Hive导入所述传统数据仓库的过程中,依据服务器的忙闲状态设置数据传输量的最大值。
10.根据权利要求6-9任意一项所述的装置,其特征在于,所述参数具体包括:控制连接数据库的字符串、表名、需要入表的字段名。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江极赢信息技术有限公司,未经浙江极赢信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710452217.X/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置