[发明专利]一种基于Kafka系统的发送消息的方法和装置有效
申请号: | 201910290584.3 | 申请日: | 2019-04-11 |
公开(公告)号: | CN111818112B | 公开(公告)日: | 2022-10-04 |
发明(设计)人: | 杨名 | 申请(专利权)人: | 中国移动通信集团四川有限公司;中国移动通信集团有限公司 |
主分类号: | H04L67/02 | 分类号: | H04L67/02;H04L67/10;G06F9/54 |
代理公司: | 北京国昊天诚知识产权代理有限公司 11315 | 代理人: | 刘昕;南霆 |
地址: | 610000 四*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 kafka 系统 发送 消息 方法 装置 | ||
1.一种基于Kafka系统的消息发送方法,其特征在于,包括:
通过分区器将生产者Producer发送的消息分配至集群中至少一个服务器Broker中;
通过监听器监听所述消息分配至所述至少一个服务器中的分配完成度;
当所述分配完成度满足预设完成度标准时,指示消费者Consumer通过所述至少一个服务器读取所述消息;
所述分配完成度满足预设完成度标准时,还包括:
通过监听器监听所述消费者读取所述消息的读取完成度;
当所述读取完成度满足预设读取完成度标准时,向所述生产者反馈与所述读取完成度相对应的信息。
2.如权利要求1所述的方法,其特征在于,通过分区器将生产者Producer发送的消息分配至集群中至少一个服务器Broker中,包括:
通过分类器对所述消息执行分类,确定所述消息对应的至少一个类别Topic;
根据所述消息对应的的至少一个类别,通过所述分区器将所述消息划分为至少一个消息区块;
将所述至少一个消息区块分配至所述集群中的至少一个服务器中;
将所述消息区块备份到至少一个与所述消息区块关联的备份区块中。
3.如权利要求2所述的方法,其特征在于,当所述分配完成度在预设时间内未满足预设完成度标准时,还包括:
通过所述分区器从所述至少一个服务器中回收所述消息,并将所述消息重新分配至所述集群中的至少一个服务器中。
4.如权利要求2所述的方法,其特征在于,所述将所述消息区块备份到至少一个与所述消息区块关联的备份区块中,包括:
基于所述消息区块创建与所述消息区块关联的至少一个备份区块;
确定所述至少一个备份区块中的领导区块Leader;
通过所述领导区块建立所述至少一个备份区块对应的备份区块列表ISR;
将所述消息区块备份到所述备份区块列表中包含的至少一个备份区块中。
5.如权利要求4所述的方法,其特征在于,在将所述消息区块备份到所述备份区块列表中包含的至少一个备份区块中之后,还包括:
将所述领导区块和所述备份区块列表打包为同步文件;
通过所述分区器将所述同步文件下发至所述集群中至少一个服务器中。
6.如权利要求1~5任一项所述的方法,其特征在于,在通过分类器对生产者发送的消息执行分类,确定所述消息对应的至少一个类别之前,还包括:
当接收所述生产者发送的消息时,创建与所述生产者对应的分区器。
7.一种基于Kafka系统的发送消息的装置,其特征在于,包括:
分区器,将生产者Producer发送的分配至集群中的至少一个服务器Broker中;
监听器,通过监听器监听所述消息分配至所述至少一个服务器中的分配完成度;
指示器,当所述分配完成度满足预设完成度标准时,指示消费者Consumer通过所述至少一个服务器读取所述消息;
当所述分配完成度满足预设完成度标准时,所述监听器用于:
监听所述消费者读取所述消息的读取完成度;
当所述读取完成度满足预设读取完成度标准时,向所述生产者反馈与所述读取完成度相对应的信息。
8.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国移动通信集团四川有限公司;中国移动通信集团有限公司,未经中国移动通信集团四川有限公司;中国移动通信集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910290584.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:基于钢轨智能打磨方法的钢轨打磨车
- 下一篇:一种物联网水表