[发明专利]一种基于拟态防御的分布式存储系统构建方法有效
申请号: | 201911120175.5 | 申请日: | 2019-11-15 |
公开(公告)号: | CN111031096B | 公开(公告)日: | 2022-05-31 |
发明(设计)人: | 王梦童;雷旸;黄亚男;冒睿瑞;张浩博 | 申请(专利权)人: | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) |
主分类号: | H04L67/1097 | 分类号: | H04L67/1097;H04L9/40;H04L67/10;H04L67/30 |
代理公司: | 上海段和段律师事务所 31334 | 代理人: | 李佳俊;郭国中 |
地址: | 201800 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 拟态 防御 分布式 存储系统 构建 方法 | ||
1.一种基于拟态防御的分布式存储系统构建方法,其特征在于,包括:
源码移植步骤:进行分布式存储系统源码移植;
存储系统搭建步骤:进行基于拟态防御的分布式存储系统搭建;
系统写操作步骤:进行基于拟态防御的分布式存储系统写操作;
系统读操作步骤:进行基于拟态防御的分布式存储系统读操作;
一致性保证步骤:保证基于拟态防御的分布式存储系统数据一致性;
所述源码移植步骤:
源码部署步骤:将Ceph源码部署至服务器平台,并配置系统环境;
源码编译步骤:将源码与不同平台进行编译适配;
所述服务器平台包括:x86架构服务器平台、申威服务器平台和飞腾服务器平台;
所述存储系统搭建步骤:
步骤S101:改写集群配置文件,在集群中搭建多个监控器,改变监控器的分级机制将监控器同级化,实现冗余;将多个监控器分别部署在多个服务器平台上,实现异构;
步骤S102:改写集群配置文件,在集群中搭建多个元数据服务,改变元数据服务的分级机制将元数据服务同级化,实现冗余;将多个元数据服务分别部署在多个服务器平台上,实现异构;
步骤S103:在异构平台搭建多个对象存储服务,并在监控器维护的集群状态图clustermap数据中添加异构逻辑层,异构逻辑层中每一层都可以按照实际需求进行扩展,每个region为一个异构域,每个异构域中有多台同构服务器host,每个服务器包含多块硬盘OSD,通过修改CRUSH算法策略,首先通过select(3,region)操作选择3个region类型的单例,随后select(1,host)操作分别在每个region下选择一个host类型的单例,最后select(1,osd)操作分别在每个host下选择一个osd类型的单例,通过对host层进行的异构,最终的结果是每个归置组PG的选中的三副本磁盘分布在三台异构的服务器中;将归置组和对象存储的映射关系存入监控器管理的归置组图PG Map中;
所述异构平台包括至少三个异构平台:x86架构服务器平台、申威服务器平台、飞腾服务器平台;
所述系统写操作步骤:
步骤S201:将客户端要操作的文件file,映射为存储系统能够处理的对象object,其实质就是按object的最大块大小对文件进行切分,切分后产生的object将获得唯一的标识,即object_id;
步骤S202:客户端向监控器请求集群状态信息;
步骤S203:客户端通过对object_id计算出hash值,查询集群状态信息得到数据池的归置组PG总数量pg_num,用归置组的总数量对hash值取模,获得该对象所属归置组,即PG_id:
pg_id=hash(object_id)%pg_num
步骤S204:客户端通过查询从监控器获取来的归置组图PG Map,找到该归置组映射到的3个对象存储服务OSD;
步骤S205:客户端向对象存储服务OSD发出写请求;
步骤206:完成写操作代码级改进,改变存储系统原有的主从分步写入过程,实现3个对象存储服务OSD同时写入数据;
步骤S207:每个对象存储服务OSD在完成写操作后向客户端发送写完成响应,客户端在接收到3个对象存储服务OSD发送的写完成响应后,确认写操作完成;
所述系统读操作步骤:
步骤S301:客户端向监控器请求集群状态信息;
步骤S302:客户端通过对object_id计算出hash值,查询集群状态信息得到数据池的归置组PG总数量pg_num,用归置组的总数量对hash值取模,获得该对象所属归置组,即PG_id:
pg_id=hash(object_id)%pg_num
步骤S303:客户端通过查询从监控器获取来的归置组图PG Map,找到该归置组映射到的3个对象存储服务OSD;
步骤S304:客户端发送读请求至3个对象存储服务OSD;
步骤S305:改变存储系统原有的读取过程,客户端将收到数据的来源及内容存入缓存,待3个数据均读取完成后,将3副本数据送入判决器进行一致性判决。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华东计算技术研究所(中国电子科技集团公司第三十二研究所),未经华东计算技术研究所(中国电子科技集团公司第三十二研究所)许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911120175.5/1.html,转载请声明来源钻瓜专利网。