[发明专利]分布式存储中冗余数据快速恢复方法及装置有效
申请号: | 201711346282.0 | 申请日: | 2017-12-15 |
公开(公告)号: | CN108255640B | 公开(公告)日: | 2021-11-02 |
发明(设计)人: | 刘应波;王锋;邓辉 | 申请(专利权)人: | 云南省科学技术情报研究院 |
主分类号: | G06F11/14 | 分类号: | G06F11/14;G06F11/16 |
代理公司: | 北京和信华成知识产权代理事务所(普通合伙) 11390 | 代理人: | 胡剑辉 |
地址: | 650000 云南*** | 国省代码: | 云南;53 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 存储 冗余 数据 快速 恢复 方法 装置 | ||
本发明提供一种分布式存储中冗余数据快速恢复方法及装置,其中方法包括:读取配置文件,配置文件包括与存储数据服务器一一对应的存储服务器编号和存储服务器IP地址;判断存储服务器IP地址所对应的存储数据服务器是否发生异常,若是,将异常数据服务器的存储服务器IP地址存储至异常数据表中;向所有存储数据服务器发送数据块遍历消息,接收存储数据服务器发送的反馈信息,并将反馈信息存储至异常数据表中,向异常数据表中第一存储数据块所对应的存储服务器IP地址发送恢复消息,以将第一存储数据块包括的数据复制到目的数据服务器中。上述方法及装置克服了传统冗余数据块查询时间消耗,并且大大减少了计算消耗,进一步提高了数据恢复效率。
技术领域
本发明涉及及计算机技术领域,尤其涉及一种分布式存储中冗余数据快速恢复方法及装置。
背景技术
分布式存储是当前大数据快速增长背景下,有效解决海量数据存储的一种思想和方法。分布式存储是把数据拆分为若干小块存储在不同的存储节点上,有效的提高了存储的并行读写效率。这种存储模式能够利用分布式计算的相关理论有效的保障数据在存储过程中的扩展性、可用性和可靠性。
但是由于数据块的分布性质,各台数据存储服务器的数据块异常都会导致整个系统不可用或服务失效。在这种情况下就需要合理的数据恢复机制和方法,以保证在一定数量服务器出现异常的情况下能够快速恢复数据,从而提供可靠的持续存储服务。
随着数据量的快速增长,如何快速恢复数据成为了当前的一个重要技术需要。目前,在分布式存储中,数据冗余副本和数据纠删码方法是数据快级别的数据恢复方法,其中,数据冗余方法主要用于对象和文件级的数据备份,为了便于管理,备份数据全部或部分存储到本地或异地服务器;而块级的冗余数据备份恢复时候,需要扫描大量的数据块,并且需要通过多个数据块之间的校验来达到数据恢复的要求,这就带来了巨大的I/O成本;而数据纠删码相对于冗余的方式,节省了存储空间,不足之处是带来了时间开销,需要通过计算修复缺失数据,恢复时间较长,因此不适合高速数据恢复的场合。
发明内容
本发明提供一种分布式存储中冗余数据快速恢复方法及装置,用以解决现有技术中对分布式存储中的数据进行恢复时查找时间长,查找效率低的技术问题。
为解决上述技术问题,本发明一方面提供一种分布式存储中冗余数据快速恢复方法,包括管理服务器和至少三个存储数据服务器,存储数据服务器与存储服务器编号一一对应,各存储服务器编号均取正整数,且各存储服务器编号呈等差数列分布;任一存储数据服务器包括的第一存储数据块在其他存储数据服务器上均有备份,第一存储数据块包括数据块描述信息,所述方法包括:
步骤101,管理服务器读取配置文件,配置文件包括与存储数据服务器一一对应的存储服务器编号和存储服务器IP地址;
步骤102,管理服务器判断存储服务器IP地址所对应的存储数据服务器是否发生异常,若是,将异常数据服务器的存储服务器IP地址存储至异常数据表中;异常数据服务器为发生异常的存储数据服务器;
步骤103,管理服务器向所有存储数据服务器发送数据块遍历消息,接收存储数据服务器发送的存储数据服务器根据第一预设规则获取的反馈信息,并将反馈信息存储至异常数据表中,其中,数据块遍历消息包括异常数据服务器的存储服务器编号,反馈信息包括用于进行数据恢复的第一存储数据块的数据块描述信息及第一存储数据块所在的存储数据服务器的存储服务器IP地址;
步骤104,管理服务器向异常数据表中第一存储数据块所对应的存储服务器IP地址发送恢复消息,以使得第一存储数据块所在的存储数据服务器根据第二预设规则将第一存储数据块包括的数据复制到目的数据服务器中,其中,恢复消息包括数据块描述信息和异常数据服务器的存储服务器编号,存储数据服务器包括目的数据服务器。
进一步的,步骤102具体包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于云南省科学技术情报研究院,未经云南省科学技术情报研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711346282.0/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置