[发明专利]一种hadoop集群运行ETL流程的方法及装置在审
| 申请号： | 202010542084.7 | 申请日： | 2020-06-15 |
| 公开（公告）号： | CN111914007A | 公开（公告）日： | 2020-11-10 |
| 发明（设计）人： | 高东升;付铨;梅纲 | 申请（专利权）人： | 武汉达梦数据库有限公司 |
| 主分类号： | G06F16/25 | 分类号： | G06F16/25;G06F9/54 |
| 代理公司： | 深圳市六加知识产权代理有限公司 44372 | 代理人： | 向彬 |
| 地址： | 430000 湖北省武汉市东湖新技术开*** | 国省代码： | 湖北;42 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及数据处理技术领域，具体涉及一种hadoop集群运行ETL流程的方法及装置，其中方法包括：根据ETL流程中的reduce节点将流程分解为一个或多个MRWork；将MRWork的数据源进行分片；MR Job自定义DelegateMapper来运行MRWork中的mappergraph，mapper数由MRWork的数据源总分片数决定；MR Job自定义DelegateReducer来运行MRWork中的reducer graph。本发明实现了基于hadoop的分布式ETL框架，数据源拆分为多个分片数据源，从而把流程分解为可并发运行的多个子流程，可极大提高流程并发处理能力。 | ||
| 搜索关键词： | 一种 hadoop 集群 运行 etl 流程 方法 装置 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于武汉达梦数据库有限公司，未经武汉达梦数据库有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010542084.7/，转载请声明来源钻瓜专利网。
