[发明专利]Kafka消息执行方法、装置、设备及存储介质有效
申请号: | 202211592508.6 | 申请日: | 2022-12-13 |
公开(公告)号: | CN115604290B | 公开(公告)日: | 2023-03-24 |
发明(设计)人: | 马腾;陈恩泽 | 申请(专利权)人: | 云账户技术(天津)有限公司 |
主分类号: | H04L67/1095 | 分类号: | H04L67/1095;H04L67/1097;H04L67/568 |
代理公司: | 北京银龙知识产权代理有限公司 11243 | 代理人: | 罗仕满 |
地址: | 300384 天津市滨海新区华苑产*** | 国省代码: | 天津;12 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | kafka 消息 执行 方法 装置 设备 存储 介质 | ||
1.一种Kafka消息执行方法,其特征在于,包括:
分配步骤:为Kafka集群中的每一分区分配对应的消息热备装置,每个所述消息热备装置中均预分配有公共缓存;
初始化步骤:以所述Kafka集群中最前一级分区为目标分区;
第一执行步骤:提取所述目标分区中存储的全部消息,将所述全部消息存储至所述目标分区对应的消息热备装置的公共缓存中得到目标消息热备装置;
第二执行步骤:以当前的所述目标分区的后一级分区为新的所述目标分区,执行所述第一执行步骤,直至所述目标分区为所述Kafka集群中最后一级分区;
第三执行步骤:并行执行所述目标消息热备装置中的所述全部消息,检测当前的所述目标消息热备装置中的消息是否全部执行,得到检测结果;若检测结果为当前的所述目标消息热备装置中的消息全部执行,以下一个所述目标消息热备装置为新的所述目标消息热备装置,执行所述第二执行步骤,直至所述目标消息热备装置为最后一个所述目标消息热备装置。
2.根据权利要求1所述的Kafka消息执行方法,其特征在于:
所述公共缓存为Redis缓存。
3.根据权利要求1所述的Kafka消息执行方法,其特征在于:
并行执行所述目标消息热备装置中的所述全部消息,包括:
每执行完成一消息,删除执行完成后的消息。
4.根据权利要求3所述的Kafka消息执行方法,其特征在于:
检测当前的所述目标消息热备装置中的消息是否全部执行,包括:
校验当前的所述目标消息热备装置的公共缓存中是否存储有消息,得到校验结果;若所述校验结果为所述目标消息热备装置的公共缓存中未存储有消息,确定所述目标消息热备装置中的消息全部执行。
5.一种Kafka消息执行装置,其特征在于,包括:
分配模块,用于分配步骤:为Kafka集群中的每一分区分配对应的消息热备装置,每个所述消息热备装置中均预分配有公共缓存;
初始化模块,用于初始化步骤:以所述Kafka集群中最前一级分区为目标分区;
执行模块,用于第一执行步骤:提取所述目标分区中存储的全部消息,将所述全部消息存储至所述目标分区对应的消息热备装置的公共缓存中得到目标消息热备装置;
所述执行模块,还用于第二执行步骤:以当前的所述目标分区的后一级分区为新的所述目标分区,执行所述第一执行步骤,直至所述目标分区为所述Kafka集群中最后一级分区;
所述执行模块,还用于第三执行步骤:并行执行所述目标消息热备装置中的所述全部消息,检测当前的所述目标消息热备装置中的消息是否全部执行,得到检测结果;若检测结果为当前的所述目标消息热备装置中的消息全部执行,以下一个所述目标消息热备装置为新的所述目标消息热备装置,执行所述第二执行步骤,直至所述目标消息热备装置为最后一个所述目标消息热备装置。
6.根据权利要求5所述的Kafka消息执行装置,其特征在于:
所述公共缓存为Redis缓存。
7.根据权利要求5所述的Kafka消息执行装置,其特征在于:
所述执行模块,还用于每执行完成一消息,删除执行完成后的消息。
8.根据权利要求7所述的Kafka消息执行装置,其特征在于:
所述执行模块,还用于校验当前的所述目标消息热备装置的公共缓存中是否存储有消息,得到校验结果;若所述校验结果为所述目标消息热备装置的公共缓存中未存储有消息,确定所述目标消息热备装置中的消息全部执行。
9.一种电子设备,其特征在于:包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至4中任一项所述的Kafka消息执行方法中的步骤。
10.一种可读存储介质,其特征在于:所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至4中任一项所述的Kafka消息执行方法中的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于云账户技术(天津)有限公司,未经云账户技术(天津)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211592508.6/1.html,转载请声明来源钻瓜专利网。