[发明专利]一种基于纠删码的分布式块存储系统有效
申请号: | 202110670284.5 | 申请日: | 2021-06-17 |
公开(公告)号: | CN113326006B | 公开(公告)日: | 2023-09-29 |
发明(设计)人: | 童飞文;康亮;马名;马可 | 申请(专利权)人: | 上海天玑科技股份有限公司;上海天玑数据技术有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F11/10;G06F11/14 |
代理公司: | 上海科盛知识产权代理有限公司 31225 | 代理人: | 翁惠瑜 |
地址: | 200131 上海市*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 纠删码 分布式 存储系统 | ||
1.一种基于纠删码的分布式块存储系统,其特征在于,包括块访问客户端、元数据服务集群和存储服务器集群,其中,
该块访问客户端接收上层应用请求,基于纠删码配置策略将所述上层应用请求转化为对后端存储对象的读写请求;
该存储服务器集群包括多个存储服务节点,接收并响应所述读写请求;
该元数据服务集群监视所有存储服务节点状态,形成集群状态;
各所述存储服务节点采用三层分布式哈希算法逻辑进行数据分布,以故障域层、节点层和磁盘层构建分布式哈希,对存储对象的数据进行纠删码编码,生成校验数据,将存储对象的数据及校验数据写入不同故障域的多个数据块中,所述块访问客户端根据集群状态,将读写请求发送给存储对象的第一纠删码数据分块所在的存储服务节点进行处理;
当所述上层应用请求为写请求时,所述块访问客户端接收写请求,基于所述纠删码配置策略判断该写请求是否纠删码条带对齐,若是,则直接发送至所述存储服务器集群,若否,则从所述存储服务器集群中读取数据使该写请求满足纠删码条带对齐要求后,再发送至所述存储服务器集群;
当所述上层应用请求为写请求时,所述块访问客户端检查并行写请求是否存在写位置冲突,将存在冲突的写请求放入等待队列。
2.根据权利要求1所述的基于纠删码的分布式块存储系统,其特征在于,所述存储服务节点包括数据路由单元、纠删码单元、集群状态代理、数据恢复单元和数据读写单元,其中,
该数据路由单元根据所述集群状态构建所述分布式哈希,接收并处理所述读写请求;
该纠删码单元处理数据读写及恢复数据时的纠删码编解码请求;
该集群状态代理用于与元数据服务集群通信并建立心跳,实时获取集群状态;
该数据恢复单元用于集群异常触发数据重构逻辑时进行数据恢复处理;
该数据读写单元向所述数据路由单元反馈对应的请求处理结果。
3.根据权利要求2所述的基于纠删码的分布式块存储系统,其特征在于,所述读写请求包含逻辑存储对象ID、逻辑空间偏移及数据长度,所述数据路由单元基于逻辑存储对象ID,在故障域层和节点层的哈希环中寻找对应的纠删码数据分片及校验数据分片所在存储服务节点,将所述读写请求转发至各存储服务节点的数据读写单元;
数据读写单元采用纠删码数据分块的ID为参数,在磁盘层的哈希环中该纠删码数据分块所分布的磁盘,返回请求处理结果。
4.根据权利要求3所述的基于纠删码的分布式块存储系统,其特征在于,若读写请求对应数据块所在的存储服务节点存在磁盘故障或者节点离线,对于读请求直接根据正常节点的条带数据调用纠删码单元编解码功能构建出读请求需要的数据块;对于写请求,则只写入无故障的数据块。
5.根据权利要求2所述的基于纠删码的分布式块存储系统,其特征在于,所述数据恢复处理具体为:
基于所述集群状态生成需要恢复到本地的数据对象合集;
检查数据对象是否为Dirty,若是,则从其他故障域读取纠删码数据分块,调用纠删码单元的解码函数构建出本地的纠删码数据分块数据对象,若否,则直接从本地恢复。
6.根据权利要求5所述的基于纠删码的分布式块存储系统,其特征在于,所述数据恢复处理过程中,当无法满足纠删码解码所需的纠删码数据分块数量时,结合集群状态执行回滚恢复模式。
7.根据权利要求1所述的基于纠删码的分布式块存储系统,其特征在于,所述故障域层每个故障域的权重固定,所述节点层和磁盘层均按照存储容量配置权重比例。
8.根据权利要求1所述的基于纠删码的分布式块存储系统,其特征在于,所述纠删码配置策略中,纠删码数据分片大小最小为512字节。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海天玑科技股份有限公司;上海天玑数据技术有限公司,未经上海天玑科技股份有限公司;上海天玑数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110670284.5/1.html,转载请声明来源钻瓜专利网。