[发明专利]一种基于Kafka大消息可靠传输方法有效
申请号: | 201811255581.8 | 申请日: | 2018-10-26 |
公开(公告)号: | CN109361629B | 公开(公告)日: | 2020-11-03 |
发明(设计)人: | 鞠时光;李生 | 申请(专利权)人: | 江苏大学 |
主分类号: | H04L12/951 | 分类号: | H04L12/951;H04L29/08 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 212013 *** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明属于分布式系统节点间通信技术领域,具体涉及一种基于Kafka大消息可靠传输方法及系统;其系统包括消息分片器、生产者、Kafka集群、消费者和消息组成器;其方法基于系统,包括消息分片器接收发送方的原始消息并处理为小消息,通过生产者发送给Kafka集群存储;消息组成器通过消费者订阅Kafka集群的小消息,拼接小消息为原始消息发送给接收方;本发明的系统及方法避免了Kafka传输大消息时出错而重传造成的网络资源浪费;原始消息被划分成小消息,当消息出现传输错误时,仅仅重传出错的小消息,避免了重复传输而节约了网络资源,提高Kafka消息的吞吐率;适用于需要分布式传输大消息的应用场景。 | ||
搜索关键词: | 一种 基于 kafka 消息 可靠 传输 方法 | ||
【主权项】:
1.一种基于Kafka的大消息可靠传输方法,包括以下步骤:1)发送方创建消息分片器;2)发送方发送原始消息到消息分片器;3)消息分片器创建生产者;4)消息分片器将原始消息分解为小消息;5)消息分片器将小消息经生产者发送给Kafka集群;6)Kafka集群对分片消息进行分布式存储;7)接收方创建消息组成器;8)消息组成器创建消费者;9)消费者向Kafka集群订阅消息;10)Kafka集群将小消息发送给消费者;11)消息组成器从消费者接收小消息;12)消息组成器将小消息拼接成原始消息;13)消息组成器将原始消息发送给接收方。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于江苏大学,未经江苏大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201811255581.8/,转载请声明来源钻瓜专利网。