[发明专利]一种redis主从全量同步数据的限速方法及装置在审
申请号: | 201710769240.1 | 申请日: | 2017-08-31 |
公开(公告)号: | CN107545060A | 公开(公告)日: | 2018-01-05 |
发明(设计)人: | 刘先攀;于晓峰;吴连朋;夏章抓 | 申请(专利权)人: | 聚好看科技股份有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;G06F11/14 |
代理公司: | 北京博思佳知识产权代理有限公司11415 | 代理人: | 陈蕾 |
地址: | 266061 山*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 redis 主从 同步 数据 限速 方法 装置 | ||
技术领域
本发明涉及数据同步技术领域,尤其涉及一种redis主从全量同步数据的限速方法及装置。
背景技术
redis是个高性能的开源的数据库,有着非常高的读写性能,可以将存储在内存的键值对数据持久化到硬盘,用户可以根据实际使用场景来配置不同的持久化方式。为了提高系统稳定性,redis系统通常采用的主从结构。在redis从节点的初始化阶段,需要将redis主节点上的数据全量复制一份,以作备用这一事件称为redis的主从全量同步。
在主从全量同步过程中,redis主节点向redis从节点发送rdb文件时采用TCP通信,即redis主节点每次向redis从节点发送16k(字节)的数据,发送完紧接着发送下一次的16k数据,一直不停的循环发送,直至rdb文件中的数据发送完为止。由于这样redis主节点持续不停的向redis从节点发送数据,使主从节点之间的数据传输带宽急剧增加,甚至达到网卡的带宽瓶颈,当网卡带宽被全部占用时,主从节点之间则无法正常通信,从而造成redis系统的业务异常。
发明内容
有鉴于此,本发明提供一种redis主从全量同步数据的限速方法及装置来解决全量同步导致带宽出现瓶颈的问题。
具体地,本发明是通过如下技术方案实现的:
一方面,本发明提供一种redis主从全量同步数据的限速方法,所述方法应用于redis系统中的redis主节点,所述方法包括:
在以预设时间段设置的定时事件开始时,执行在所述定时事件开始之前创建的文件同步事件,所述文件同步事件用于控制所述redis主节点向所述redis从节点发送rdb文件;
根据所述文件同步事件限定的发送速率,发送所述rdb文件中的同步数据;
在所述预设时间段内发送所述同步数据且删除所述文件同步事件。
另一方面,基于相同的构思,本发明还提供一种redis主从全量同步数据的限速装置,所述装置应用于redis系统中的redis主节点,所述装置包括:
事件创建单元,用于在以预设时间段设置的定时事件开始时,执行在所述定时事件开始之前创建的文件同步事件,所述文件同步事件用于控制所述redis主节点向所述redis从节点发送rdb文件;
数据发送单元,用于根据所述文件同步事件限定的发送速率,发送所述rdb文件中的同步数据;
事件删除单元,用于在所述预设时间段内发送所述同步数据且删除所述文件同步事件。
本发明实施例提供的技术方案带来的有益效果是:
本发明使redis主节点在以预设时间段设置的定时事件开始时,执行在所述定时事件开始之前创建的文件同步事件,用于控制所述redis主节点向所述redis从节点发送rdb文件;然后redis主节点可根据所述文件同步事件限定的发送速率,发送所述rdb文件中的同步数据,并在所述预设时间段内发送所述同步数据且删除所述文件同步事件。相比于现有技术,本发明可以按照限定的速率在预设时间段内同步数据,并且在预设时间段内删除文件同步事件,从而根据限速调整每个定时事件中主从同步的数据,保证主从同步不会占用网卡的全部带宽,从而保证了业务正常运行。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一种示例性实施方式中的一种redis主从全量同步数据的限速方法的处理流程图;
图2是本发明一种示例性实施方式中时间长度的关系示意图;
图3是本发明一种示例性实施方式中的另一种redis主从全量同步数据的限速方法的处理流程图;
图4是本发明一种示例性实施方式中的redis主从全量同步数据的限速装置所在设备的硬件结构图;
图5是本发明一种示例性实施方式中的一种redis主从全量同步数据的限速装置的逻辑结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
请参考图1,是本发明一种示例性实施方式中的一种redis主从全量同步数据的限速方法的处理流程图,所述方法应用于redis系统中的redis主节点,所述方法包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于聚好看科技股份有限公司,未经聚好看科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710769240.1/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种废物回收用泡沫塑料多级粉碎设备
- 下一篇:一种血液科真空采血管用破碎设备
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置