[发明专利]一种基于Kafka大消息可靠传输方法有效

专利信息
申请号: 201811255581.8 申请日: 2018-10-26
公开(公告)号: CN109361629B 公开(公告)日: 2020-11-03
发明(设计)人: 鞠时光;李生 申请(专利权)人: 江苏大学
主分类号: H04L12/951 分类号: H04L12/951;H04L29/08
代理公司: 暂无信息 代理人: 暂无信息
地址: 212013 *** 国省代码: 江苏;32
权利要求书: 查看更多 说明书: 查看更多
摘要: 发明属于分布式系统节点间通信技术领域,具体涉及一种基于Kafka大消息可靠传输方法及系统;其系统包括消息分片器、生产者、Kafka集群、消费者和消息组成器;其方法基于系统,包括消息分片器接收发送方的原始消息并处理为小消息,通过生产者发送给Kafka集群存储;消息组成器通过消费者订阅Kafka集群的小消息,拼接小消息为原始消息发送给接收方;本发明的系统及方法避免了Kafka传输大消息时出错而重传造成的网络资源浪费;原始消息被划分成小消息,当消息出现传输错误时,仅仅重传出错的小消息,避免了重复传输而节约了网络资源,提高Kafka消息的吞吐率;适用于需要分布式传输大消息的应用场景。
搜索关键词: 一种 基于 kafka 消息 可靠 传输 方法
【主权项】:
1.一种基于Kafka的大消息可靠传输方法,包括以下步骤:1)发送方创建消息分片器;2)发送方发送原始消息到消息分片器;3)消息分片器创建生产者;4)消息分片器将原始消息分解为小消息;5)消息分片器将小消息经生产者发送给Kafka集群;6)Kafka集群对分片消息进行分布式存储;7)接收方创建消息组成器;8)消息组成器创建消费者;9)消费者向Kafka集群订阅消息;10)Kafka集群将小消息发送给消费者;11)消息组成器从消费者接收小消息;12)消息组成器将小消息拼接成原始消息;13)消息组成器将原始消息发送给接收方。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于江苏大学,未经江苏大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/patent/201811255581.8/,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code