[发明专利]一种Kafka的分区方法、分区系统及相关装置在审
申请号: | 201811512234.9 | 申请日: | 2018-12-11 |
公开(公告)号: | CN109656684A | 公开(公告)日: | 2019-04-19 |
发明(设计)人: | 沈昌干;柯都敏 | 申请(专利权)人: | 杭州涂鸦信息技术有限公司 |
主分类号: | G06F9/455 | 分类号: | G06F9/455;G06F9/54;H04L29/08 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 王仲凯 |
地址: | 浙江省杭州市西*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本申请提供一种Kafka的分区方法,包括:S1:获取实际总分区数、当前存活的消费者容器数以及每个存活的消费者容器对应的实际分区数;S2:确定平均应得分区数;S3:根据实际分区数和平均应得分区数确定分区差值;S4:从分区差值最大的第一消费者容器剥离一个分区,分配至分区差值小于0的第二消费者容器,并更新消费者容器对应的分区差值;S5:重复执行S4,直至任意两个消费者容器对应的实际分区数之差的绝对值小于等于1。本申请大大降低了分区所耗费的时间,提高了分区的效率,实现了动态分区,可以满足高实时性要求。本申请还提供一种Kafka的分区系统、一种计算机可读存储介质和一种分区服务器,具有上述有益效果。 | ||
搜索关键词: | 分区 分区系统 存活 计算机可读存储介质 申请 分区服务器 动态分区 高实时性 相关装置 重复执行 剥离 更新 分配 | ||
【主权项】:
1.一种Kafka的分区方法,其特征在于,包括:S1:当检测到分区变化时,获取分区队列中的实际总分区数、当前存活的消费者容器数以及每个存活的所述消费者容器对应的实际分区数;S2:根据所述实际总分区数和存活的消费者容器数确定每个消费者容器对应的平均应得分区数;S3:根据所述实际分区数和所述平均应得分区数确定每个所述消费者容器对应的分区差值;S4:从所述分区差值最大的第一消费者容器剥离一个分区,分配至所述分区差值小于0的第二消费者容器,并更新所述第一消费者容器和所述第二消费者容器对应的分区差值;S5:重复执行S4,直至任意两个消费者容器对应的实际分区数之差的绝对值小于等于1时,结束分区。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州涂鸦信息技术有限公司,未经杭州涂鸦信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201811512234.9/,转载请声明来源钻瓜专利网。