[发明专利]提高数据去重系统可扩展性的容错编码方法、装置及系统

说明书

本发明公开了一种提高数据去重系统可扩展性的容错编码方法、装置及系统，属于计算机存储领域，包括：在数据去重系统中新增Δk个节点时，将每k+Δk个具有局部性关联的容器划分为一个关联容器组，并将编码方式从RS(k,m)扩展为RS(k+Δk,m)；对于每一个关联容器组G，将其中的Δk个容器中的共Δk×k个数据块均匀地迁移到新增节点中；对于关联容器组G中每一个未迁移的容器C，从每一个新增节点中选取一个数据块与容器C中的数据块组合，按照RS(k+Δk,m)计算组合得到的k+Δk个数据块对应的校验块P_C1′～P_Cm′并存储到节点中，由组合得到的k+Δk个数据块及校验块P_C1′～P_Cm′构成一个新的条带；从节点中删除中各容器的旧校验块。本发明能够有效提高数据去重系统的可扩展性。

技术领域

本发明属于计算机存储领域，更具体地，涉及一种提高数据去重系统可扩展性的容错编码方法、装置及系统。

背景技术

随着云计算与大数据等技术飞速发展，全球各类存储数据量的爆炸增长，这使得现代数据中心同时面临两个严峻的挑战，降低存储成本和提高数据的可靠性。对于存储成本的问题，目前业界常见的解决方法是通过数据去重的方法降低数据冗余，减少存储开销，具体地，它首先将备份文件流划分为一组固定大小或变化大小的数据块，将可变长度数据块打包成固定大小的容器，然后利用哈希算法计算每个块的指纹以唯一地表示该块。如果新的块指纹与指纹数据库中的指纹之一相同，则认为它是重复的。只有非冗余块存储在磁盘中，将其指纹存储在指纹数据库中。数据去重可以有效降低数据冗余，但是减少数据冗余带来的问题是数据的可靠性进一步下降，纠删码因其良好的存储效率和高可靠性，常常被应用于去重系统，来提高去重系统可靠性。

目前，围绕去重系统中的容器这一数据结构有两种引入纠删码的方式。一类是容器间编码，即把容器作为编码数据块进行编码；另一类是容器内编码，即把容器作为编码条带，划分为大小相同的编码块在进行编码。这两类编码分别在存储利用率、降级读性能和弹性机制上作了权衡，其中容器内编码在牺牲了扩展性能的条件下，存储利用率和降级读性能均有较大幅度提升。然而，随着传统数据中心向云存储的迁移，云数据中心正在成为新的核心，到2025年，全球存储数据的49％将驻留在公有云环境中。对于云环境来说，随着存储规模的改变自由伸缩集群的灵活弹性机制是其重要特性，而目前已有的去重系统的容错编码均难以做到兼顾高可用和高可扩展性。

因此如何保证容器内编码的降级读性能及存储开销，并在不破坏去重系统局部性特征的情况下，提升系统的可扩展性，即随着存储规模的改变自由伸缩集群，是十分有意义的。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种提高数据去重系统可扩展性的容错编码方法、装置及系统，其目的在于，提高数据去重系统的可扩展性。

为实现上述目的，按照本发明的一个方面，提供了一种提高数据去重系统可扩展性的容错编码方法，数据去重系统中，每个容器由k个数据块组成，并且每个容器中的k个数据块按照RS(k,m)编码方式编码后产生m个校验块；每个容器中的k个数据块及编码产生的m个校验块构成一个条带，且分别存储在不同的k+m个节点上；该提高数据去重系统中可扩展性的容错编码方法包括：

在数据去重系统中新增Δk个节点时，将每k+Δk个具有局部性关联的容器划分为一个关联容器组，并将编码方式从RS(k,m)扩展为RS(k+Δk,m)；