[发明专利]基于ceph的动态链式存储集群实现方法有效
申请号: | 201810573785.X | 申请日: | 2018-06-06 |
公开(公告)号: | CN108846064B | 公开(公告)日: | 2021-07-23 |
发明(设计)人: | 杨鹏;杨波;张洪 | 申请(专利权)人: | 南京群顶科技有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/215;G06F16/2455 |
代理公司: | 南京知识律师事务所 32207 | 代理人: | 张苏沛 |
地址: | 210019 江苏省南京市建邺区奥*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 ceph 动态 链式 存储 集群 实现 方法 | ||
1.基于ceph的动态链式存储集群实现方法,其特征在于:包括链式连接的头部集群、普通集群形成的分级存储集群,相连集群之间设置对应的清洗策略,当满足清洗策略时对集群中数据进行清洗;头部集群实现策略分发:集群间清洗策略的配置和分发,数据映射:所有业务数据IO都从头部集群经过并由头部集群映射到其他集群,高速缓冲:头部集群对数据进行高速缓冲;
当加入新的头部集群时,包括如下步骤:
步骤11,新头部集群同步原头部集群的MON Map、OSD Map信息;
步骤12,原头部集群将不在自己集群的数据请求转交给新头部集群处理;
步骤13,清洗机制将对原头部集群达到条件的数据移交至新头部集群;
步骤14,新头部集群彻底接管原头部集群的功能;
步骤15,原头部集群退化为二级存储集群,新头部集群加入完成;
当加入普通集群时,包括如下步骤:
步骤21,头部集群暂时阻止新加入集群前后集群Level_N-2、Level_N-1的数据清洗;
步骤22,为新加入的集群配置上游集群及下游集群的清洗策略;
步骤23,配置Level_N-2、Level_N-1集群配置,指定“”为Level_N-2的下游集群、为Level_N-1的上游集群;
步骤24,重新分发新的清洗策略至Level_N-2及Level_N-1;
步骤25,解除对Level_N-2及Level_N-1数据清洗的阻止,数据清洗重新启动;
分级存储集群中删除普通集群时,包括如下步骤:
步骤31,头部集群为待删除集群Level_N-1配置新的清洗策略,该清洗策略停止待删除集群上游的降级及下游的提升机制,加快数据的向上游提升及向下游降级的速度;
步骤32,当待删除集群Level_N-1内的数据全部被提升/降级完成后,待删除集群Level_N-1通知头部集群;
步骤33,头部集群将待删除的集群Level_N-1从集群链中移除,并通知待删除集群Level_N-1;
步骤34,待删除集群Level_N-1停止所有业务服务;
步骤35,头部集群配置Level_N-2、Level_N集群,指定为Level_N-2的下游集群及Level_N的上游集群;
步骤36,头部集群重新分发新的清洗策略至Level_N-2及Level_N;
步骤37, Level_N-2与Level_N数据清洗重新启动。
2.根据权利要求1所述的基于ceph的动态链式存储集群实现方法,其特征在于:
存储集群中数据的清洗包括以下步骤:
步骤41,通过头部集群配置清洗策略,策略应用到所有的集群链中或配置在某个集群对上;
步骤42,头部集群将清洗策略分发给相连的两个集群,接收的集群把接收到的策略部署到集群中,并生效;
步骤43,当不满足数据清洗策略时,等待新的清洗事件触发;当满足清洗策略,后端开始数据清洗,降级的数据向相连的下游集群传递副本,提升的数据向相连的上游集群传递副本;
步骤44,副本传递完成后头部集群接受数据映射重定向;
步骤45,发送方处理清洗的最后工作,删除原副本。
3.根据权利要求2所述的基于ceph的动态链式存储集群实现方法,其特征在于:
步骤43中,清洗策略中满足提升算法时,数据提升:清洗率*ln(数据大小/上游剩余空间*留置比)+访问频率*(1/近期迁移次数) 1;
满足降级算法时,数据降级:清洗率*ln(数据大小/下游剩余空间*留置比)-访问频率*(1/近期迁移次数)1。
4.根据权利要求2所述的基于ceph的动态链式存储集群实现方法,其特征在于:
步骤43中数据清洗中传递副本具体包括如下步骤:
步骤431,发送方发送副本发送请求,请求包括副本个数、大小;
步骤432,接收方接收副本发送请求,通过后做好副本接收准备;
步骤433,接收方接收副本。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京群顶科技有限公司,未经南京群顶科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810573785.X/1.html,转载请声明来源钻瓜专利网。