[发明专利]一种基于磁盘队列实现Kafka集群同步的方法及系统在审
| 申请号： | 201910631206.7 | 申请日： | 2019-07-12 |
| 公开（公告）号： | CN110347342A | 公开（公告）日： | 2019-10-18 |
| 发明（设计）人： | 杨彬;季国庆;王城;胡军擎;陈勇铨 | 申请（专利权）人： | 上海英方软件股份有限公司 |
| 主分类号： | G06F3/06 | 分类号： | G06F3/06;H04L29/08 |
| 代理公司： | 上海国智知识产权代理事务所(普通合伙) 31274 | 代理人： | 潘建玲 |
| 地址： | 201112 上海*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于磁盘队列实现Kafka集群同步的方法及系统，该方法包括：步骤S1，从源端kafka集群中根据指定主题完整消费每一条消息，并把消息写入到源端本地磁盘队列中；步骤S2，利用其他线程从所述源端本地磁盘队列中逐条取出消息，并调用压缩算法将消息压缩后，将数据发送到网络中；步骤S3，所述网络另一侧备端接收数据，将消息解压还原后写入备端本地磁盘队列中；步骤S4，从所述备端本地磁盘队列读取消息写入备端kafka集群中。 | ||
| 搜索关键词： | 磁盘队列 源端 写入 集群同步 集群 读取 接收数据 消息压缩 压缩算法 数据发 解压 线程 调用 还原 取出 网络 | ||
【主权项】：
1.一种基于磁盘队列实现Kafka集群同步的方法，包括如下步骤：步骤S1，从源端kafka集群中根据指定主题完整消费每一条消息，并把消息写入到源端本地磁盘队列中；步骤S2，利用其他线程从所述源端本地磁盘队列中逐条取出消息，并调用压缩算法将消息压缩后，将数据发送到网络中；步骤S3，所述网络另一侧备端接收数据，将消息解压还原后写入备端本地磁盘队列中；步骤S4，从所述备端本地磁盘队列读取消息写入备端kafka集群中。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海英方软件股份有限公司，未经上海英方软件股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910631206.7/，转载请声明来源钻瓜专利网。
- 上一篇：数据清除方法及控制设备
- 下一篇：数据管理方法和装置
