[发明专利]数据处理方法、存储节点及分布式存储系统在审
申请号: | 201711235155.3 | 申请日: | 2017-11-30 |
公开(公告)号: | CN108008918A | 公开(公告)日: | 2018-05-08 |
发明(设计)人: | 温利娟;杨杰;李光辉 | 申请(专利权)人: | 联想(北京)有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 田媛媛;王宝筠 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 存储 节点 分布式 存储系统 | ||
1.一种数据处理方法,其特征在于,应用于分布式存储系统的第一存储节点,所述方法包括:
接收文件写入请求;
响应所述文件写入请求,确定所述第一存储节点是否存储有与待写入的第一数据块相同的数据块,所述第一数据块通过对待写入的文件进行分块处理产生;
在所述第一存储节点未存储与所述第一数据块相同的数据块的情况下,将所述第一数据块存储于所述第一存储节点,在所述第一存储节点建立所述第一数据块的索引信息,建立所述第一数据块的块号和所述索引信息的对应关系;
在所述第一存储节点存储有与所述第一数据块相同的另一数据块的情况下,修改所述另一数据块的索引信息中的引用次数,建立所述第一数据块的块号和与所述另一数据块的索引信息的对应关系;
其中,数据块的索引信息包括所述数据块的存储地址信息。
2.根据权利要求1所述的方法,其特征在于,还包括:
在满足预设条件的情况下,确定所述分布式存储系统的全局索引信息是否包含所述第一数据块的索引信息;
在所述全局索引信息包含所述第一数据块的索引信息的情况下,删除所述第一存储节点存储的第一数据块,修改所述全局索引信息中所述第一数据块的索引信息中的引用次数,删除所述第一存储节点存储的第一数据块的索引信息;
在所述全局索引信息不包含所述第一数据块的索引信息的情况下,在所述全局索引信息中添加所述第一数据块的索引信息。
3.根据权利要求2所述的方法,其特征在于,还包括:
接收文件读取请求;
响应所述文件读取请求,对待读取的文件进行分块处理,获得待读取的数据块的块号;
根据所述待读取的数据块的块号在所述第一存储节点查找所述待读取的数据块的索引信息;
如果在所述第一存储节点查找到所述待读取的数据块的索引信息,则根据查找到的索引信息中的存储地址信息读取数据块;
如果未在所述第一存储节点查找到所述待读取的数据块的索引信息,则在所述全局索引信息中查找所述待读取的数据块的索引信息,根据查找到的索引信息中的存储地址信息读取数据块;
向客户端反馈读取到的数据块。
4.根据权利要求1、2或3所述的方法,其特征在于,数据块的索引信息采用键值对的数据结构,其中,键为数据块的指纹值,值为数据块的描述信息,所述数据块的描述信息包括引用次数和所述数据块的存储地址信息。
5.根据权利要求4所述的方法,其特征在于,所述确定所述第一存储节点是否存储有与待写入的第一数据块相同的数据块,包括:
获得所述第一数据块的指纹值;
在所述第一存储节点存储有以所述第一数据块的指纹值作为键的键值对的情况下,确定所述第一存储节点存储有与待写入的第一数据块相同的数据块;
在所述第一存储节点未存储以所述第一数据块的指纹值作为键的键值对的情况下,确定所述第一存储节点未存储与待写入的第一数据块相同的数据块。
6.一种存储节点,其特征在于,包括通信接口、处理器和存储器:
所述通信接口用于接收文件写入请求;
所述处理器用于响应所述文件写入请求,确定所述存储器是否存储有与待写入的第一数据块相同的数据块,所述第一数据块通过对待写入的文件进行分块处理产生;在所述存储器未存储与所述第一数据块相同的数据块的情况下,将所述第一数据块存储于所述存储器,在所述存储器建立所述第一数据块的索引信息,建立所述第一数据块的块号和所述索引信息的对应关系;在所述存储器存储有与所述第一数据块相同的另一数据块的情况下,修改所述另一数据块的索引信息中的引用次数,建立所述第一数据块的块号和所述另一数据块的索引信息的对应关系;其中,数据块的索引信息包括所述数据块的存储地址信息;
所述存储器用于存储数据块、索引信息、以及数据块的块号和索引信息的对应关系。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于联想(北京)有限公司,未经联想(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711235155.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种用于SIP板物料的综合检测装置
- 下一篇:远程查询并自动识别停车位的汽车