[发明专利]一种数据处理方法及分布式存储系统有效
申请号: | 201811260310.1 | 申请日: | 2018-10-26 |
公开(公告)号: | CN111104048B | 公开(公告)日: | 2021-02-12 |
发明(设计)人: | 李昕杰;何荣峰;祝斌;吴素宏;方协云 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京中博世达专利商标代理有限公司 11274 | 代理人: | 申健 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 分布式 存储系统 | ||
1.一种数据处理方法,其特征在于,应用于分布式存储系统,所述分布式存储系统包括至少一个处理节点和至少两个存储节点,所述至少两个存储节点的存储盘包括至少两个存储盘群,所述至少两个存储盘群配置有至少两个节能态,所述至少一个处理节点上部署有处理模块;所述数据处理方法包括:
所述处理模块接收包括待处理数据的标识的读请求;其中,所述待处理数据存储于所述至少两个存储节点中,所述待处理数据包括第一子数据和第二子数据;
所述处理模块根据所述待处理数据的标识,读取所述待处理数据的元数据,以确定第一存储盘群和第二存储盘群,所述第一存储盘群包括所述至少两个存储节点中存储所述第一子数据的存储盘,所述第二存储盘群包括所述至少两个存储节点中存储所述第二子数据的存储盘,所述第一存储盘群配置有第一节能态,所述第二存储盘群配置有第二节能态,所述第一节能态的唤醒时延小于所述第二节能态的唤醒时延;
所述处理模块从所述第一存储盘群中读取所述第一子数据,并在读取所述第一子数据后,从所述第二存储盘群中读取所述第二子数据。
2.根据权利要求1所述的数据处理方法,其特征在于,所述处理模块从所述第一存储盘群中读取所述第一子数据之前,所述数据处理方法还包括:
所述处理模块根据所述待处理数据的元数据,确定所述第一存储盘群中的第一存储盘组和所述第二存储盘群中的第二存储盘组;其中,所述第一存储盘组所包括的存储盘为所述第一存储盘群中存储所述第一子数据的存储盘,所述第二存储盘组所包括的存储盘为所述第二存储盘群中存储所述第二子数据的存储盘;
所述处理模块从所述第一存储盘群中读取所述第一子数据,具体包括:
所述处理模块从所述第一存储盘组中读取所述第一子数据;
所述处理模块从所述第二存储盘群中读取所述第二子数据,具体包括:
所述处理模块从所述第二存储盘组中读取所述第二子数据。
3.根据权利要求2所述的数据处理方法,其特征在于,所述处理模块确定所述第一存储盘群中的第一存储盘组和所述第二存储盘群中的第二存储盘组之后,所述数据处理方法还包括:
所述处理模块确定所述第一存储盘组中的存储盘和所述第二存储盘组中的存储盘已被唤醒。
4.根据权利要求3所述的数据处理方法,其特征在于,所述处理模块从所述第一存储盘组中读取所述第一子数据之后,所述数据处理方法还包括:
所述处理模块将所述第一存储盘组中的存储盘置为所述第一节能态;
所述处理模块从所述第二存储盘组中读取所述第二子数据之后,所述数据处理方法还包括:
所述处理模块将所述第二存储盘组中的存储盘置为所述第二节能态。
5.根据权利要求1-4中任意一项所述的数据处理方法,其特征在于,所述处理模块接收包括待处理数据的标识的读请求之前,所述数据处理方法还包括:
所述处理模块接收包括所述待处理数据的写请求;
响应于所述写请求,所述处理模块将所述待处理数据切分为所述第一子数据和所述第二子数据,所述第一子数据的访问顺序位于所述第二子数据的访问顺序之前;
所述处理模块将所述第一子数据存储于所述第一存储盘群中,并将所述第二子数据存储于所述第二存储盘群中。
6.根据权利要求5所述的数据处理方法,其特征在于,所述处理模块将所述待处理数据切分为所述第一子数据和所述第二子数据,具体包括:
所述处理模块根据所述第一节能态的唤醒时延、所述第二节能态的唤醒时延和访问带宽,计算所述第一子数据的大小,并确定所述第一子数据,所述第一节能态的唤醒时延和所述第二节能态的唤醒时延均为预先设置的;
所述处理模块根据所述待处理数据的大小以及所述第一子数据的大小,计算所述第二子数据的大小,并确定所述第二子数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811260310.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:可迭代更新的心电图分析系统
- 下一篇:X射线摄影系统及其平板探测器、相关方法