[发明专利]一种基于Spark和Impala高效采集数据库的实现方法在审
| 申请号： | 202110237793.9 | 申请日： | 2021-03-04 |
| 公开（公告）号： | CN112783923A | 公开（公告）日： | 2021-05-11 |
| 发明（设计）人： | 李泛洪 | 申请（专利权）人： | 辽宁振兴银行股份有限公司 |
| 主分类号： | G06F16/2453 | 分类号： | G06F16/2453;G06F16/242;G06F16/23 |
| 代理公司： | 郑州欧凯专利代理事务所(普通合伙) 41166 | 代理人： | 王志兴 |
| 地址： | 110000 辽*** | 国省代码： | 辽宁;21 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于Spark和Impala高效采集数据库的实现方法，涉及数据处理技术领域，其包括以下步骤：S1、根据模板封装采集任务报文；S2、解析采集任务报文；S3、根据报文、创建数据连接；S4、检查目标库是否存在对应的表，如果存在，执行S6后继续向下执行，如果不存在，执行S5后跳到S9继续向下一步执行；S5、根据报文，创建数据连接；S6、根据新增字段，修改目标表；S7、获取缺失字段；S8、通过源与目标表字段类型对比，生成类型转换语句。该基于Spark和Impala高效采集数据库的实现方法，通过采用Spark框架，可减少各类数据源对接的开发工作量，并可配置化数据来源，达到灵活数据源的效果。 | ||
| 搜索关键词： | 一种 基于 spark impala 高效 采集 数据库 实现 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于辽宁振兴银行股份有限公司，未经辽宁振兴银行股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110237793.9/，转载请声明来源钻瓜专利网。
- 上一篇：洞内支撑顶紧装置
- 下一篇：一种人工客服系统业务管理平台
