[发明专利]一种基于Spark分布式环境下的大数据ETL模型执行方法及介质有效
| 申请号： | 201911053365.X | 申请日： | 2019-10-31 |
| 公开（公告）号： | CN110851515B | 公开（公告）日： | 2023-04-28 |
| 发明（设计）人： | 郭宇达;朱欣焰;佘冰;呙维 | 申请（专利权）人： | 武汉大学 |
| 主分类号： | G06F16/25 | 分类号： | G06F16/25;G06F16/27 |
| 代理公司： | 武汉科皓知识产权代理事务所(特殊普通合伙) 42222 | 代理人： | 张辰 |
| 地址： | 430072 湖*** | 国省代码： | 湖北;42 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提出了一种基于Spark分布式环境下的大数据ETL模型执行方法及介质，主要包括以下步骤：获取ETL分析模型，对其中涉及到的算子进行动态分析，判断是否包含与当前时间有关的算子；判断ETL模型的输出结果表是否全部存在；判断ETL模型的依赖数据表与输出结果表的更新时间之间的先后关系；对以上需要实际执行的ETL模型提交至优先队列。通过对数据集增加字段、记录元信息的方式保证ETL模型并行执行效率，通过对原始数据集特点以及ETL模型的动态分析，完成大数据ETL模型是否需要实际执行的判定，节省了计算资源，提高了分析性能，保障了分析系统的稳定性。 | ||
| 搜索关键词： | 一种 基于 spark 分布式 环境 数据 etl 模型 执行 方法 介质 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于武汉大学，未经武汉大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201911053365.X/，转载请声明来源钻瓜专利网。
- 上一篇：一种可实时调节惯性管长度的脉管制冷机
- 下一篇：一种具有洗锅功能的清洗机
