[发明专利]一种基于canal和kafka实现实时数仓的系统在审
| 申请号： | 201810877574.5 | 申请日： | 2018-08-03 |
| 公开（公告）号： | CN109325077A | 公开（公告）日： | 2019-02-12 |
| 发明（设计）人： | 卫翀 | 申请（专利权）人： | 北京马上慧科技术有限公司 |
| 主分类号： | G06F16/28 | 分类号： | G06F16/28;G06F16/25 |
| 代理公司： | 北京华仲龙腾专利代理事务所(普通合伙) 11548 | 代理人： | 李静 |
| 地址： | 100089 北京市海淀区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 一种基于canal和kafka实现实时数仓的系统，包括Canal‑Server、Canal‑Client、Consumer‑plugin‑man和admin‑ods，Canal‑Server和Canal‑Client相连接，Canal‑Client通过kafka与Consumer‑plugin‑man相连接，admin‑ods也与Consumer‑plugin‑man相连接，所述Consumer‑plugin‑man与Hbase相连接；所述Hbase连接有ElasticSearch，ElasticSearch连接有Databus‑query，Databus‑query连接有atabus‑api。本发明的有益效果是将数据源、数据处理、数据写入解耦并统一管理，灵活配置，大大简化研发成本，易维护，支持不同生产环境下部署同一或不同数据仓库中的数据接入，实现一次研发，多处并灵活使用。 | ||
| 搜索关键词： | 研发 灵活配置 生产环境 数据仓库 数据接入 统一管理 数据处理 数据源 易维护 解耦 写入 灵活 部署 统一 | ||
【主权项】：
1.一种基于canal和kafka实现实时数仓的系统，其特征在于，包括Canal‑Server、Canal‑Client、Consumer‑plugin‑man和admin‑ods，Canal‑Server和Canal‑Client相连接，Canal‑Client通过kafka与Consumer‑plugin‑man相连接，admin‑ods也与Consumer‑plugin‑man相连接，所述Consumer‑plugin‑man与Hbase相连接；所述Hbase连接有ElasticSearch，ElasticSearch连接有Databus‑query，Databus‑query连接有atabus‑api。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京马上慧科技术有限公司，未经北京马上慧科技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810877574.5/，转载请声明来源钻瓜专利网。
