[发明专利]一种分布式文件系统及其组件版本更新方法有效
申请号: | 202010731380.1 | 申请日: | 2020-07-27 |
公开(公告)号: | CN112000347B | 公开(公告)日: | 2022-08-30 |
发明(设计)人: | 金松 | 申请(专利权)人: | 新华三大数据技术有限公司 |
主分类号: | G06F8/65 | 分类号: | G06F8/65;G06F16/182 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 450000 河南省郑州市郑州高*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 文件系统 及其 组件 版本 更新 方法 | ||
本申请提供了一种分布式文件系统及其组件版本更新方法,该方法中,分布式文件系统的对象存储设备OSD组件接收携带增量图以及不校验指示标识的第一增量同步消息;对象存储设备组件基于第一增量同步消息增量图携带的增量图计算不校验的对象存储设备图;更新对象存储设备图的版本。
技术领域
本申请涉及存储技术,具体地讲是一种分布式文件系统及其组件版本更新方法。
背景技术
分布式文件系统Ceph提供了高可靠性、可扩展的存储系统。Ceph架构的RADOS(Reliable Autonomic Distributed Object Store,可靠、自动、分布式对象存储)集群中,OSD(Object Store Device,对象存储设备)组件负责完成数据存储和维护功能,MON(monitor,监视器)组件负责完成系统状态检测和维护的。一旦应用程序访问Ceph集群执行写操作,数据将会以对象的形式存储在OSD中。OSD map(图)是MON组件维护的集群信息中的最重要的一类。所有OSD节点都向MON节点报告状态,MON组件汇集这些信息生成新版本的OSD map,OSD和MON、OSD和OSD之间通过incremental(增量)扩散传播将集群中OSD map分享给整个Ceph集群。
在Ceph架构中,所有组件的更新并不同步,MON组件的版本更新后,更新的OSD map的字段会增加,但是未更新的OSD组件收到OSD map更新后,按照旧版本解码得到OSD map不包含新增的字段。OSD map存储着集群所需的很多内容,每一次里面的内容如果发生了变化,就需要生成一张专门的OSD map。新版本OSD map和未更新OSD map携带有不同版本编号,用以区分是否已升级/更新。更新OSD map版本就是更新OSD map的内容。
图1所示的Ceph架构下的现有OSD map同步的状态示意图;MON组件MON.1和部分OSD组件已更新到新版本,运行在新版本的MON组件向未更新的OSD组件发送同步消息①携带了OSD map的incremental(增量)map e2和CRC(循环冗余检查),未更新的OSD组件OSD.0解码获得incremental(增量)map e2不包括新版本中的字段,因此计算OSD map和基于计算OSD map得到CRC与来自MON组件MON.1的CRC不同,OSD组件先将计算的OSD map存入磁盘,然后向MON组件MON.1发送请求OSD map的消息②,根据存储磁盘的OSD map执行回调函数,OSD组件OSD.0不更新版本,但是MON组件MON.1发送的OSD map的时间间隔较长,OSD组件OSD.0从其他OSD组件OSD.1-OSD.n接收增量map,仍以旧版本的旧代码处理,导致系统的不同组件的版本号差别很大,直到OSD组件OSD.0收到来自MON组件MON.1的带有全量OSD map的消息③时,OSD组件的OSD.1将OSD map写入硬盘,然后更新为新版本。OSD组件的OSD.1的版本长时间未更新,Ceph内OSD map版本号相差大会导致OSD组件OSD.0所在的一致性哈希虚拟节点的PG(Placement Group)的多个OSD间协商一致的PG信息的Peering过程很长,存储业务受到影响。
发明内容
本申请的目的是提供一种分布式文件系统及其组件版本更新方法,降低升级对象存储设备图版本号更新慢给业务带来的影响。
为实现上述目的,本申请提供了一种分布式文件系统组件版本更新方法,其中,分布式文件系统的任一对象存储设备OSD组件接收携带增量图increment map以及不校验指示标识的第一增量同步消息;任一OSD组件基于第一增量同步消息携带的increment map计算不校验的全量OSD map;更新全量OSD map版本。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华三大数据技术有限公司,未经新华三大数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010731380.1/2.html,转载请声明来源钻瓜专利网。
- 上一篇:光电转换元件和固体摄像装置
- 下一篇:一种异步任务处理方法及系统