[发明专利]分布式存储系统数据存储方法、装置、系统及存储介质在审
申请号: | 201811108494.X | 申请日: | 2018-09-21 |
公开(公告)号: | CN109241023A | 公开(公告)日: | 2019-01-18 |
发明(设计)人: | 徐晓阳;赵万里 | 申请(专利权)人: | 郑州云海信息技术有限公司 |
主分类号: | G06F16/182 | 分类号: | G06F16/182;G06F16/13;G06F16/16 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 罗满 |
地址: | 450018 河南省郑州市*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 待存储文件 分布式存储系统 文件块 数据存储位置 内容匹配 数据存储 分块 可读存储介质 数据存储装置 存储介质 存储文件 分割文件 获取系统 内容比对 判断系统 冗余数据 数据比对 数据索引 预先存储 重复数据 匹配 存储 概率 检测 | ||
1.一种分布式存储系统数据存储方法,其特征在于,包括:
对待存储文件分块,得到若干待存储文件块;
将所述待存储文件块与预先存储的文件块进行内容比对,判断系统中是否存在与所述待存储文件块内容匹配的文件块;
如果有,获取系统中所述内容匹配的文件块的数据存储位置;
根据所述数据存储位置对匹配的待存储文件块建立数据索引。
2.如权利要求1所述的分布式存储系统数据存储方法,其特征在于,所述将所述待存储文件块与预先存储的文件块进行内容比对,判断系统中是否存在与所述待存储文件块内容匹配的文件块包括:
计算所述待存储文件块的hash值,得到待存储hash值;
将所述待存储hash值与索引表中文件块hash值进行比对,判断所述索引表中是否有与所述待存储hash值相同的文件块hash值;其中,所述索引表中存储有系统中已存储文件的文件块hash值以及对应的文件块存储位置。
3.如权利要求2所述的分布式存储系统数据存储方法,其特征在于,还包括:
如果所述索引表中没有与所述待存储hash值相同的文件块hash值,存储所述待存储数据,并将所述待存储hash值以及对应的数据存储位置添加至所述索引表中。
4.如权利要求3所述的分布式存储系统数据存储方法,其特征在于,还包括:
将更新后的索引表实时发布至系统中各节点。
5.如权利要求2所述的分布式存储系统数据存储方法,其特征在于,计算所述待存储文件块的hash值包括:
通过SHA-1哈希函数计算所述待存储文件块的hash值。
6.如权利要求2所述的分布式存储系统数据存储方法,其特征在于,所述索引表的生成方法包括:
判断系统中是否存在预先存储的文件;
如果有,根据已存储文件的文件块占用情况计算所述已存储文件的文件块hash值;
统计计算得到所述已存储文件的各文件块hash值以及对应的数据存储位置,生成索引表。
7.如权利要求6所述的分布式存储系统数据存储方法,其特征在于,还包括:
对所述索引表中各文件块hash值两两比对,判断所述索引表中是否存在相同hash值的文件块;
如果有,确定保留文件块与非保留文件块;
将所述保留文件块的数据存储位置替换所述非保留文件块的存储数据。
8.一种分布式存储系统数据存储装置,其特征在于,包括:
分块单元,用于对待存储文件分块,得到若干待存储文件块;
比对单元,用于将所述待存储文件块与预先存储的文件块进行内容比对,判断系统中是否存在与所述待存储文件块内容匹配的文件块;
数据信息获取单元,用于如果有,获取系统中所述内容匹配的文件块的数据存储位置;
索引建立单元,用于根据所述数据存储位置对匹配的待存储文件块建立数据索引。
9.一种分布式存储系统数据存储设备,其特征在于,包括:
存储器,用于存储程序;
处理器,用于执行所述程序时实现如权利要求1至7任一项所述分布式存储系统数据存储方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储有程序,所述程序被处理器执行时实现如权利要求1至7任一项所述分布式存储系统数据存储方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于郑州云海信息技术有限公司,未经郑州云海信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811108494.X/1.html,转载请声明来源钻瓜专利网。