[发明专利]Hive建表方法、电子装置及计算机可读存储介质在审
申请号: | 201910762870.5 | 申请日: | 2019-08-14 |
公开(公告)号: | CN110647564A | 公开(公告)日: | 2020-01-03 |
发明(设计)人: | 杨巧美 | 申请(专利权)人: | 中国平安财产保险股份有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25;G06F16/21;G06F16/22 |
代理公司: | 44347 深圳市沃德知识产权代理事务所(普通合伙) | 代理人: | 高杰;于志光 |
地址: | 518000 广东省深圳市福田区益田路*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 字段 逻辑处理 目标表 计算机可读存储介质 电子装置 码表 源表 处理效率 规则配置 相关参数 相关函数 预先设置 通用 配置的 减小 语句 工作量 自动化 开发 | ||
1.一种Hive建表方法,其特征在于,所述方法包括步骤:
设置通用取数规则,包括各种SQL逻辑处理方式及相关函数;
设置目标表所需的字段和各字段对应的取数源表;
从所述取数源表获取所需字段的数据;
根据所述通用取数规则配置所述目标表所需的SQL逻辑处理方式及相关参数、码表;
按所配置的SQL逻辑处理方式和参数、码表,对所获取的字段的数据进行相应取数处理,得到取数处理结果;及
根据预先设置的建表语句和取数处理结果生成所述目标表。
2.如权利要求1所述的Hive建表方法,其特征在于,该方法还包括步骤:
通过编辑mapping文件的宏,自动生成所述目标表的建表脚本。
3.如权利要求1或2所述的Hive建表方法,其特征在于,所述SQL逻辑处理方式包括将一个字段的数据编码转化为名称、直接复制字段值、赋默认值、给空值、关联参数表。
4.如权利要求1或2所述的Hive建表方法,其特征在于,所述设置目标表所需的字段和各字段对应的取数源表的步骤包括:
设置取数源表字段名称、对应的取数源表表名、所述取数源表所在的数据库和所述目标表的表名、建立所述目标表的目标数据库、所述目标表中的字段名称以及所述目标表的字段与所述取数源表的字段之间的对应关系。
5.如权利要求1或2所述的Hive建表方法,其特征在于,所述按所配置的SQL逻辑处理方式和参数、码表,对所获取的字段的数据进行相应取数处理的步骤包括:
按照所配置的处理方式以及所需的参数、码表,生成对应的取数SQL,对从所述取数源表获取的所需字段的数据进行处理,得到所述目标表各个对应字段的数据。
6.一种电子装置,其特征在于,所述电子装置包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的Hive建表系统,所述Hive建表系统被所述处理器执行时实现如下步骤:
设置通用取数规则,包括各种SQL逻辑处理方式及相关函数;
设置目标表所需的字段和各字段对应的取数源表;
从所述取数源表获取所需字段的数据;
根据所述通用取数规则配置所述目标表所需的SQL逻辑处理方式及相关参数、码表;
按所配置的SQL逻辑处理方式和参数、码表,对所获取的字段的数据进行相应取数处理,得到取数处理结果;及
根据预先设置的建表语句和取数处理结果生成所述目标表。
7.如权利要求6所述的电子装置,其特征在于,所述Hive建表系统被所述处理器执行时还实现步骤:
通过编辑mapping文件的宏,自动生成所述目标表的建表脚本。
8.如权利要求6或7所述的电子装置,其特征在于,所述SQL逻辑处理方式包括将一个字段的数据编码转化为名称、直接复制字段值、赋默认值、给空值、关联参数表。
9.如权利要求6或7所述的电子装置,其特征在于,所述设置目标表所需的字段和各字段对应的取数源表的步骤包括:
设置取数源表字段名称、对应的取数源表表名、所述取数源表所在的数据库和所述目标表的表名、建立所述目标表的目标数据库、所述目标表中的字段名称以及所述目标表的字段与所述取数源表的字段之间的对应关系。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有Hive建表系统,所述Hive建表系统可被至少一个处理器执行,以使所述至少一个处理器执行如权利要求1-5中任一项所述的Hive建表方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国平安财产保险股份有限公司,未经中国平安财产保险股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910762870.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种数据处理方法、装置及其设备
- 下一篇:一套完整的商家自助对接系统行业方案