[发明专利]基于磁盘簇的数据并行存储方法、装置以及数据读取方法有效

专利信息
申请号: 202010300208.0 申请日: 2020-04-16
公开(公告)号: CN111488127B 公开(公告)日: 2023-01-10
发明(设计)人: 邸忠辉 申请(专利权)人: 苏州浪潮智能科技有限公司
主分类号: G06F3/06 分类号: G06F3/06
代理公司: 北京集佳知识产权代理有限公司 11227 代理人: 刘新雷
地址: 215100 江苏省苏州市吴*** 国省代码: 江苏;32
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 基于 磁盘 数据 并行 存储 方法 装置 以及 读取
【权利要求书】:

1.一种基于磁盘簇的数据并行存储方法,其特征在于,包括:

生成待存储用户数据的元数据,并根据所述元数据的序列号进行随机哈希计算,得到哈希值;

根据所述哈希值,在磁盘簇的多个磁盘中选取存储所述待存储用户数据的目标磁盘;其中,所述磁盘簇中的每个磁盘包括用于存放存储数据的数据区和用于存放描述所述存储数据的元数据的元数据区;所述每个磁盘的元数据区包括用于保存存储到本磁盘上的数据的元数据的磁盘成员元数据区和用于保存整个磁盘簇的磁盘数量,各磁盘数据容量、数据量与剩余存储容量的磁盘簇元数据区;

判断所述目标磁盘的剩余存储容量是否大于等于预设容量阈值;

若所述目标磁盘的剩余存储容量大于等于所述预设容量阈值,则将所述待存储用户数据存储至所述目标磁盘的数据区,并将所述待存储用户数据的元数据存储至所述目标磁盘的磁盘成员元数据区;

更新所述磁盘簇中各个磁盘的磁盘簇元数据区中保存的所述目标磁盘的数据量与剩余存储容量。

2.如权利要求1所述的方法,其特征在于,所述判断所述目标磁盘的剩余存储容量是否大于等于预设容量阈值后包括:

若所述目标磁盘的剩余存储容量小于所述预设容量阈值,则判断所述磁盘簇中是否存在剩余存储容量大于等于所述预设容量阈值的磁盘;

若所述磁盘簇中存在剩余存储容量大于等于所述预设容量阈值的磁盘,则将所述待存储用户数据存储至所述磁盘簇中当前剩余存储容量最大的备选磁盘中;

将所述待存储用户数据的元数据存储至所述磁盘簇中一号磁盘的磁盘簇元数据区;

每隔预设时间间隔,根据所述一号磁盘的磁盘簇元数据区中元数据对所述磁盘簇的其他磁盘的磁盘簇元数据区中的元数据进行更新,以便所述磁盘簇的每个磁盘的磁盘簇元数据区均保存相同的磁盘簇元数据副本。

3.如权利要求2所述的方法,其特征在于,所述判断所述磁盘簇中是否存在剩余存储容量大于等于所述预设容量阈值的磁盘后包括:

若所述磁盘簇中不存在剩余存储容量大于等于所述预设容量阈值的磁盘,则返回磁盘簇存储空间不足的消息。

4.如权利要求1所述的方法,其特征在于,所述待存储用户数据为待存储文件,所述生成待存储用户数据的元数据,并根据所述元数据的序列号进行随机哈希计算,得到哈希值,包括:

根据所述待存储文件的系统特征数据生成所述待存储文件的元数据;其中,所述待存储文件的系统特征数据包括文件名、文件大小、文件使用的数据块总数、数据块大小、数据块存储位置、文件类型、访问权限、创建及访问时间;

根据所述待存储文件的文件号进行随机哈希计算,生成哈希值。

5.一种基于磁盘簇的数据读取方法,其特征在于,包括:

获取待读取用户数据的元数据,根据所述待读取用户数据的元数据的序列号进行随机哈希计算,得到哈希值;

根据所述哈希值确定所述待读取数据在磁盘簇中所处的磁盘,并根据所述待读取用户数据的元数据获取所述待读取用户数据的磁盘位置,以便读取所述待读取数据;所述磁盘簇中的每个磁盘包括用于存放存储数据的数据区和用于存放描述所述存储数据的元数据的元数据区;所述每个磁盘的元数据区包括用于保存存储到本磁盘上的数据的元数据的磁盘成员元数据区和用于保存整个磁盘簇的磁盘数量,各磁盘数据容量、数据量与剩余存储容量的磁盘簇元数据区;

其中,所述根据所述哈希值确定所述待读取数据在磁盘簇中所处的磁盘与磁盘位置,以便读取所述待读取数据,包括:

根据所述哈希值确定所述待读取用户数据在所述磁盘簇中所处的目标磁盘;

判断在所述目标磁盘的数据区是否可查找到所述待读取用户数据;

若在所述目标磁盘的数据区可查找到所述待读取用户数据,则读取所述待读取用户数据;

若在所述目标磁盘的数据区未查找到所述待读取用户数据,则根据所述目标磁盘元数据区的磁盘簇元数据区中的元数据确定所述待读取用户数据所处的实际磁盘;

在所述实际磁盘的数据区中读取所述待读取用户数据。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州浪潮智能科技有限公司,未经苏州浪潮智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010300208.0/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top