[发明专利]一种基于Spark和Impala高效采集数据库的实现方法在审
| 申请号： | 202110237793.9 | 申请日： | 2021-03-04 |
| 公开（公告）号： | CN112783923A | 公开（公告）日： | 2021-05-11 |
| 发明（设计）人： | 李泛洪 | 申请（专利权）人： | 辽宁振兴银行股份有限公司 |
| 主分类号： | G06F16/2453 | 分类号： | G06F16/2453;G06F16/242;G06F16/23 |
| 代理公司： | 郑州欧凯专利代理事务所(普通合伙) 41166 | 代理人： | 王志兴 |
| 地址： | 110000 辽*** | 国省代码： | 辽宁;21 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 基于 spark impala 高效 采集 数据库 实现 方法 | ||
【权利要求书】：
1.一种基于Spark和Impala高效采集数据库的实现方法，所述方法基于基于Spark和Impala，其特征在于，包括以下步骤：
S1、根据模板封装采集任务报文；
S2、解析采集任务报文；
S3、根据报文、创建数据连接；
S4、检查目标库是否存在对应的表，如果存在，执行S6后继续向下执行，如果不存在，执行S5后跳到S9继续向下一步执行；
S5、根据报文，创建数据连接；
S6、根据新增字段，修改目标表；
S7、获取缺失字段；
S8、通过源与目标表字段类型对比，生成类型转换语句；
S9、生成数据加载语句，按照分区字段和分区大小分片执行；
S10、执行impala表刷新语句；
S11、执行impala表查询优化语句。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于辽宁振兴银行股份有限公司，未经辽宁振兴银行股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202110237793.9/1.html，转载请声明来源钻瓜专利网。
- 上一篇：洞内支撑顶紧装置
- 下一篇：一种人工客服系统业务管理平台
