[发明专利]一种基于Spark的同步Oracle历史数据数据至Hudi表的方法在审
| 申请号： | 202310626963.1 | 申请日： | 2023-05-31 |
| 公开（公告）号： | CN116910148A | 公开（公告）日： | 2023-10-20 |
| 发明（设计）人： | 董可伦;周永进;李国涛 | 申请（专利权）人： | 浪潮云信息技术股份公司 |
| 主分类号： | G06F16/27 | 分类号： | G06F16/27;G06F16/28;G06F16/2455 |
| 代理公司： | 济南信达专利事务所有限公司 37100 | 代理人： | 姜鹏 |
| 地址： | 250100 山东省济南市高*** | 国省代码： | 山东;37 |
| 权利要求书： | 暂无信息 | 说明书： | 暂无信息 |
| 摘要： | 本发明涉及大数据技术领域，具体为一种基于Spark的同步Oracle历史数据数据至Hudi表的方法，包括以下步骤：利用Spark SQL查询Oracle数据库下元数据表all_tables中对应的用户owner下的所有表名；利用Spark SQL并发读取Oracle表；利用Spark的DataFrame的saveAsTable方法将Oracle数据写入Hudi表；有益效果为：本发明提出的基于Spark的同步Oracle历史数据数据至Hudi表的方法，将业务库关系型数据库中的历史数据全部同步到大数据集群中的Hudi表中。本发明实现了自动同步元数据、自动建表，并且可以自动同步Oracle字段注释信息至Hive元数据表中，无需手动建表，方便运维人员使用。通过合理的设置读取Oracle表和写Hudi表的并发参数，非常高效迅速的完成Oracle的全部历史数据同步至大数据集群中。 | ||
| 搜索关键词： | 一种 基于 spark 同步 oracle 历史数据 数据 hudi 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于浪潮云信息技术股份公司，未经浪潮云信息技术股份公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202310626963.1/，转载请声明来源钻瓜专利网。
