[发明专利]数据处理方法和装置在审
申请号: | 202310392454.7 | 申请日: | 2023-04-12 |
公开(公告)号: | CN116401100A | 公开(公告)日: | 2023-07-07 |
发明(设计)人: | 刘易 | 申请(专利权)人: | 上海哔哩哔哩科技有限公司 |
主分类号: | G06F11/14 | 分类号: | G06F11/14;G06F11/10;G06F3/06 |
代理公司: | 北京英特普罗知识产权代理有限公司 11015 | 代理人: | 王勇 |
地址: | 200433 上海市*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 | ||
1.一种数据处理方法,其特征在于,用于包括多个计算节点的纠删码存储系统中,其中,所述多个计算节点包括第一计算节点和第二计算节点;所述方法包括:
在第一计算节点接收到读取请求的情形下,根据所述读取请求确定目标数据所在的目标条带;
根据所述目标条带,确定所述目标数据的第一存储节点;及
从所述第一存储节点读取所述目标数据;其中,在所述第一存储节点数据读取出现故障且第二计算节点缓存有所述目标数据对应的备份数据的情形下,转发所述读取请求给所述第二计算节点,以通过所述第二计算节点读取所述备份数据并响应。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述第一存储节点数据读取出现故障,且所述目标数据未配置所述备份数据的情形下,通过纠删码解码读恢复所述目标数据,以得到与所述目标数据相同的解码数据;
将所述解码数据作为响应数据返回;及
将所述解码数据缓存到所述第一计算节点的缓存层中,以作为目标备份数据使用。
3.根据权利要求2所述的方法,其特征在于:
所述目标备份数据存储在所述第一计算节点的缓存层中直到所述故障修复完成。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
为所述目标数据绑定第一标记和第二标记;其中:
所述第一标记,用于表示存储有所述目标备份数据;
所述第二标记,用于指示所述目标备份数据的缓存位置。
5.根据权利要求1至4所述的方法,其特征在于,所述方法还包括:
在所述第一存储节点数据读取出现故障的情况下,记录故障数据信息;
将所述故障数据信息提供给第三计算节点,通过所述第三计算节点进行数据修复。
6.根据权利要求5所述的方法,其特征在于,所述通过所述第三计算节点进行数据修复,包括:
根据所述故障数据信息,索引所述目标数据对应的备份数据;
在所述第二计算节点缓存有所述备份数据的情形下,获取所述第二计算节点的运行信息;
在所述运行信息符合预设条件的情况下,从所述第二计算节点的缓存层读取所述备份数据;
将读取到的备份数据存储到第二存储节点中,所述第二存储节点为符合预设要求的存储节点。
7.根据权利要求6所述的方法,其特征在于,所述通过所述第三计算节点进行数据修复,包括:
根据所述故障数据信息,索引所述目标数据对应的备份数据;
在所述第二计算节点缓存有所述备份数据的情形下,获取所述第二计算节点的运行信息;
在所述运行信息不符合所述预设条件的情况下,通过纠删码解码读恢复所述目标数据,以得到与所述目标数据相同的解码数据;
将所述解码数据存储到第二存储节点中,所述第二存储节点为符合预设要求的存储节点。
8.根据权利要求5所述的方法,其特征在于,所述通过所述第三计算节点进行数据修复,包括:
根据所述故障数据信息,索引所述目标数据对应的备份数据;
在所述第二计算节点缓存有所述备份数据,且所述目标条带中的故障数据块的数量大于预设阈值的情形下,从所述第二计算节点的缓存层读取所述备份数据;及
将读取到的备份数据存储到第二存储节点中,所述第二存储节点为符合预设要求的存储节点。
9.根据权利要求5所述的方法,其特征在于,所述通过所述第三计算节点进行数据修复,包括:
根据所述故障数据信息,索引所述目标数据对应的备份数据;
在为索引到所述备份数据的情形下,通过纠删码解码读恢复所述目标数据,以得到与所述目标数据相同的解码数据;
将所述解码数据存储到第二存储节点中,所述第二存储节点为健康的存储节点。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海哔哩哔哩科技有限公司,未经上海哔哩哔哩科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310392454.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种平坡式场地预制电缆沟
- 下一篇:应对暴雨天气的电网检修间隔时长的确定方法