[发明专利]一种基于分布式内存盘的Ceph性能优化的方法和设备有效
申请号: | 202010452359.8 | 申请日: | 2020-05-26 |
公开(公告)号: | CN111708488B | 公开(公告)日: | 2023-01-06 |
发明(设计)人: | 丁钊 | 申请(专利权)人: | 苏州浪潮智能科技有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F11/14 |
代理公司: | 北京连和连知识产权代理有限公司 11278 | 代理人: | 刘小峰 |
地址: | 215100 江苏省苏州市吴*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 分布式 存盘 ceph 性能 优化 方法 设备 | ||
1.一种基于分布式内存盘的Ceph性能优化的方法,其特征在于,包括以下步骤:
在Ceph分布式存储系统的每个存储节点上的内存文件系统上创建虚拟磁盘,其中在Ceph分布式存储系统的每个存储节点上的内存文件系统上创建虚拟磁盘包括在每个存储节点上挂载指定大小的Tmpfs到指定路径,在所述路径下分别创建指定大小的虚拟磁盘文件,在每个存储节点上将所述虚拟磁盘文件挂载为本地loop设备;
将多个所述存储节点上的所述虚拟磁盘进行整合,利用整合后的虚拟磁盘创建高速存储池,其中将多个所述存储节点上的所述虚拟磁盘进行整合,利用整合后的虚拟磁盘创建高速存储池包括将所有存储节点上的本地loop设备分别初始化为所述Ceph分布式存储系统的OSD,使用所述OSD创建所述高速存储池,并根据存储节点的数量和分布情况设置所述高速存储池的故障域,将每个所述OSD分为若干个PG归置组,将原始数据块及冗余数据块通过所述Ceph分布式存储系统自带的哈希算法均衡分布在不同所述OSD的不同PG中;
基于创建的所述高速存储池对所述Ceph分布式存储系统进行性能加速。
2.根据权利要求1所述的方法,其特征在于,还包括:
响应于接收到存储节点重启或关机的命令,调用脚本程序记录所述存储节点的所述高速存储池的状态及配置信息,并记录所述存储节点上内存盘的配置及对应OSD的配置信息;
响应于所述存储节点重新启动完毕,基于检测到的记录的所述信息,重建所述存储节点的内存文件系统中的虚拟块设备,使用新创建的虚拟块设备替换原存储节点的虚拟块设备;
基于其他未重启的存储节点上的数据,计算重启过程中缺失的数据块并进行同步。
3.根据权利要求1所述的方法,其特征在于,还包括:
响应于接收到存储节点意外断电恢复的命令,将管理节点中的所述存储节点的OSD容量和id信息传递到所述存储节点上并重建所述存储节点的内存文件系统中的虚拟块设备,使用新创建的虚拟块设备替换原存储节点的虚拟块设备;
基于其他存储节点上的数据,计算断电过程中缺失的数据块并进行同步。
4.一种基于分布式内存盘的Ceph性能优化的设备,其特征在于,所述设备包括:
创建模块,所述创建模块配置为在Ceph分布式存储系统的每个存储节点上的内存文件系统上创建虚拟磁盘,所述创建模块还配置为在每个存储节点上挂载指定大小的Tmpfs到指定路径,在所述路径下分别创建指定大小的虚拟磁盘文件,在每个存储节点上将所述虚拟磁盘文件挂载为本地loop设备;
整合模块,所述整合模块配置为将多个所述存储节点上的所述虚拟磁盘进行整合,利用整合后的虚拟磁盘创建高速存储池,所述整合模块还配置为将所有存储节点上的本地loop设备分别初始化为所述Ceph分布式存储系统的OSD,使用所述OSD创建所述高速存储池,并根据存储节点的数量和分布情况设置所述高速存储池的故障域,将每个所述OSD分为若干个PG归置组,将原始数据块及冗余数据块通过所述Ceph分布式存储系统自带的哈希算法均衡分布在不同所述OSD的不同PG中;
应用模块,所述应用模块配置为基于创建的所述高速存储池对所述Ceph分布式存储系统进行性能加速。
5.根据权利要求4所述的设备,其特征在于,还恢复模块,所述恢复模块配置为:
响应于接收到存储节点重启或关机的命令,调用脚本程序记录所述存储节点的所述高速存储池的状态及配置信息,并记录所述存储节点上内存盘的配置及对应OSD的配置信息;
响应于所述存储节点重新启动完毕,基于检测到的记录的所述信息,重建所述存储节点的内存文件系统中的虚拟块设备,使用新创建的虚拟块设备替换原存储节点的虚拟块设备;
基于其他未重启的存储节点上的数据,计算重启过程中缺失的数据块并进行同步。
6.根据权利要求4所述的设备,其特征在于,还包括断电模块,所述断电模块配置为:
响应于接收到存储节点意外断电恢复的命令,将管理节点中的所述存储节点的OSD容量和id信息传递到所述存储节点上并重建所述存储节点的内存文件系统中的虚拟块设备,使用新创建的虚拟块设备替换原存储节点的虚拟块设备;
基于其他存储节点上的数据,计算断电过程中缺失的数据块并进行同步。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州浪潮智能科技有限公司,未经苏州浪潮智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010452359.8/1.html,转载请声明来源钻瓜专利网。