[发明专利]实时数仓自动ETL方法、系统、设备及计算机存储介质在审
| 申请号： | 202110444992.7 | 申请日： | 2021-04-24 |
| 公开（公告）号： | CN113220757A | 公开（公告）日： | 2021-08-06 |
| 发明（设计）人： | 葛昊 | 申请（专利权）人： | 上海钢银科技发展有限公司 |
| 主分类号： | G06F16/25 | 分类号： | G06F16/25;G06F16/28;G06F9/54 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 201900 上海市宝*** | 国省代码： | 上海;31 |
| 权利要求书： | 暂无信息 | 说明书： | 暂无信息 |
| 摘要： | 本申请涉及涉及电子商务平台准实时数仓建设技术领域，公开了一种实时数仓自动ETL方法、系统，实时数仓自动ETL方法，包括：数据抽取，将mysql数据库中的数据抽取至消息队列Kafka中；数据转换，基于根据用户需求预先在mysql数据库中配置的转换策略对进入消息队列Kafka中的数据进加，包括：设置默认值、数据汇总、以其他数据库的数据作为取值条件，以及上传脚本描述中的一种或多种；数据加载，基于预先在mysql数据库中配置的数据来源地和目标地的对应关系，将进加后的数据加载至标准mysql数据库。本申请通过采用上述技术方案，全程配置化所有的数据ETL需求可通过程序配置进完成，无需编写代码，简化了实时数仓的ETL过程，缩短了数据延迟。 | ||
| 搜索关键词： | 实时 自动 etl 方法 系统 设备 计算机 存储 介质 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海钢银科技发展有限公司，未经上海钢银科技发展有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110444992.7/，转载请声明来源钻瓜专利网。
