[发明专利]一种主/从架构的低耦合的分布式流式计算系统有效
申请号: | 201811057446.2 | 申请日: | 2018-09-11 |
公开(公告)号: | CN109327509B | 公开(公告)日: | 2022-01-18 |
发明(设计)人: | 邹复好;李开;熊饶饶;刘鹏坤;孙斌 | 申请(专利权)人: | 武汉魅瞳科技有限公司 |
主分类号: | H04L67/1042 | 分类号: | H04L67/1042;H04L67/1008;H04L67/1097;H04L67/02;H04L67/55;H04L67/133;H04L43/0817;H04L43/10;H04L41/0668 |
代理公司: | 武汉蓝宝石专利代理事务所(特殊普通合伙) 42242 | 代理人: | 廉海涛 |
地址: | 430000 湖北省武汉市东湖新技术*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明实施例提供了一种主/从架构的低耦合的分布式流式计算系统,包括:分布式服务环境、集群管理主节点、集群的工作从节点、集群的业务处理节点;所述分布式服务环境用于存储各个分布式节点的运行状态、负载状态以及任务执行状态;所述集群管理主节点用于管理集群节点的运行状态,并向各个集群节点分发任务;所述集群的工作从节点用于执行所述集群管理主节点分发的任务,并将任务执行的中间结果在Kafka中缓存;所述集群的业务处理节点用于消费Kafka中产生的消息,并得到业务结果。能够适用于多种情况下的流式数据处理,模块之间充分解耦合,能够实现动态缩扩容,实现数据的冗余备份,主节点的备份机制能实现服务的可靠性。 | ||
搜索关键词: | 一种 架构 耦合 分布式 计算 系统 | ||
【主权项】:
1.一种主/从架构的低耦合的分布式流式计算框架,其特征在于,包括:分布式服务环境、集群管理主节点、集群的工作从节点、集群的业务处理节点;所述分布式服务环境用于存储各个分布式节点的运行状态、负载状态以及任务执行状态;所述集群管理主节点用于管理集群节点的运行状态,并向各个集群节点分发任务;所述集群的工作从节点用于执行所述集群管理主节点分发的任务,并将任务执行的中间结果在Kafka中缓存;所述集群的业务处理节点用于消费Kafka中产生的消息,并得到业务结果。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉魅瞳科技有限公司,未经武汉魅瞳科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201811057446.2/,转载请声明来源钻瓜专利网。