[发明专利]一种基于复制和纠删码自适应切换的云存储容错方法

说明书

技术领域

本发明涉及一种基于复制和纠删码自适应切换的云存储容错方法。

背景技术

云存储为用户带来了低廉的运维成本，按需可扩展的性能配置以及更高效的存储能力，已被越来越多的用户所接受。然而，由于云存储环境的复杂性和开放性，数据失效问题也引起了广大用户的关注。例如：2011年，阿里云服务器磁盘出现故障，在维护过程中执行重启操作，导致期间的数据丢失；2012年，谷歌邮箱爆发大规模数据丢失，15万左右谷歌邮箱用户数据失效。云存储系统的首要任务是保证数据的高可用性和高可靠性，必须考虑构建一套高性能低开销的容错机制。

容错的数据冗余方法常用的有副本复制和纠删码两种。随着数据量的增长，云存储容错逐渐由复制向纠删码转变。纠删码有效地减少了冗余空间，但解码复杂，存在更多的延时。由此可见，单一的数据冗余方法已无法满足不同类型用户的特定容错需求，混合数据冗余方法将会成为未来云存储容错的研究热点。

通过混合冗余来实现云存储容错的主要文献有：Fan等人通过跟踪发现大多数的数据访问操作发生在数据创建后的较短的一段时间内，针对HDFS系统，将生命周期超过一定期限的文件通过一个后台进程写入纠删码数据块，将复制数据块转化为纠删码数据块以节省存储空间，并在此基础上测试了延迟编码的时间与带来的性能损耗之间的关系。微软研究院的Zhang等人将仅支持复制的HDFS改进为完全支持复制和纠删码两种方式，用户可根据自己的容错需求进行容错方式的选择，但对于一特定文件仍是单一的数据冗余方法，与时间、空间都不发生关系。Yadi等人提出一种云计算环境副本复制与纠删码相结合的容错方案，采用LRU(Least Recently Used)的方法进行替换，有效地实现了空间与时间的均衡，LRU方法存在时间的局部性，未考虑单位时间内的访问频率，而且是一次性永久转换，可能存在数据的二次污染。Aye等人针对HDFS提出了一种基于纠删码的副本复制方法，为增强可靠性，对事先存储纠删码进行hash，再进行副本复制，在访问延时控制在一定阈值范围内较完全复制技术节约33％的存储空间。Roy等人提出了一种柔性的复制纠删码方法，对于访问热度低的文件，以单一的纠删码方式存储，对于访问热度高的文件，为保证高访问质量，根据访问热度动态生成副本，也即对于访问热度高的文件是复制块与纠删码块共存。杨东日等人提出了一种副本复制和纠错码融合的云存储文件系统容错机制，提出了根 据访问频率来选择容错方式，并重点分析了系统的可靠性，但未对如何确定文件访问频率作过多描述。宋宝燕等人提出了利用RS编码优化HDFS的存储容错策略，并通过改变生成矩阵优化了RS编码在有限域上的乘法计算难的问题。

Bhagwat等人较早提出根据原始数据块的等级保存若干副本的容错方法。基于副本复制的容错策略简单、高效，容易实现和部署，由于每个复制数据块都是一个完整的备份，数据修复效率高，并可以很好地支持并发访问，因此在实际中得到了广泛的应用。在GFS和HDFS目前所采用的容错策略就是副本复制技术。

在基于纠删码的存储容错系统中，N个存储节点被分成数据节点和校验节点两部分，校验节点的数据由数据节点计算得来，定义纠删码为一个四元组(n,k,w,k’)，n表求数据节点的个数，k表示原始文件分片的个数，n-k表示校验节点个数，w表示每个数据块包含的比特数，k’表未任意获得一个条带上的k’个数据块即可修复受损的文件。为了使系统具有最优的存储效率，纠删码须具有MDS属性，即k＝k’。目前存在很多类型的纠删码，例如Reed-Solomon编码(简称RS编码)、LDPC码、阵列码等。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种基于复制和纠删码自适应切换的云存储容错方法。

为解决上述技术问题，本发明所采用的技术方案是：一种基于复制和纠删码自适应切换的云存储容错方法，包括以下步骤：

1)当编号为K的文件被访问之后，判断本时间间隔内文件的访问次数是否高于上一时间间隔内的访问次数，文件的访问次数是否高于替换阈值，当文件K在本时间间隔内的访问次数低于上一时间间隔内的访问次数时，或访问次数虽高于上一时间间隔内的访问次数，但访问次数低于替换阈值时，仍维持纠删码；否则，进入步骤2)；

2)查询下降集中的最低的访问次数的文件K'，若文件K的访问次数高于下降集中最低的访问次数，则将下降集中最低访问次数的文件K'移出下降集，并删除K'的相关副本，对K'做纠删码；将文件K放入下降集，并对K文件做3副本复制的容错方案，将原有纠删码删除；否则，进入步骤3)；