[发明专利]一种Redshift外部表动态列的处理方法及装置有效
| 申请号： | 201910565114.3 | 申请日： | 2019-06-26 |
| 公开（公告）号： | CN110297830B | 公开（公告）日： | 2021-09-14 |
| 发明（设计）人： | 朱亮;徐滢 | 申请（专利权）人： | 成都品果科技有限公司 |
| 主分类号： | G06F16/22 | 分类号： | G06F16/22 |
| 代理公司： | 成都高远知识产权代理事务所(普通合伙) 51222 | 代理人： | 曾克;施磊 |
| 地址： | 610000 四川省成都市*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 redshift 外部 动态 处理 方法 装置 | ||
1.一种Redshift外部表动态列的处理方法，其特征在于，包括：
加载Redshift外部表的第一表头信息；所述第一表头信息包括：外部表的列名称，所述列名称与待存储的Spark DataFrame列的映射关系，所述列名称的使用情况；
根据所述第一表头信息，将所述Redshift外部表的列与所述待存储的SparkDataFrame的列进行一一映射，生成Redshift外部表的第二表头信息；
根据所述第二表头信息，更新所述待存储的Spark DataFrame的表头结构，获取更新后的Spark DataFrame；
将所述更新后的Spark DataFrame存储于所述Redshift外部表。
2.根据权利要求1所述的Redshift外部表动态列的处理方法，其特征在于，还包括：
根据所述第二表头信息，创建或更新Redshift View；所述Redshift View用于查询所述Redshift外部表中的预定列。
3.一种Redshift外部表动态列的处理装置，其特征在于，包括：
加载单元，用于加载Redshift外部表的第一表头信息；所述第一表头信息包括：外部表的列名称，所述列名称与待存储的Spark DataFrame列的映射关系，所述列名称的使用情况；
映射单元，用于根据所述第一表头信息，将所述Redshift外部表的列与所述待存储的Spark DataFrame的列进行一一映射，生成Redshift外部表的第二表头信息；
第一更新单元，用于根据所述第二表头信息，更新所述待存储的Spark DataFrame的表头结构，获取更新后的Spark DataFrame；
存储单元，用于将所述更新后的Spark DataFrame存储于所述Redshift外部表。
4.根据权利要求3所述的Redshift外部表动态列的处理装置，其特征在于，还包括：
第二更新单元，用于根据所述第二表头信息，创建或更新Redshift View；所述Redshift View用于查询所述Redshift外部表中的预定列。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于成都品果科技有限公司，未经成都品果科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201910565114.3/1.html，转载请声明来源钻瓜专利网。
