[发明专利]一种基于自适应存储冗余策略的存储方法

说明书

本发明涉及一种基于自适应存储冗余策略的存储方法，该存储方法包括以下步骤：部署步骤：分别设置条带化存储方式中第一个分块和后续分块的最大容量；部署存储冗余策略配置信息，分别设定第一个分块和后续分块的存储冗余策略；数据写入步骤：通过条带化存储方式，并根据部署的存储冗余策略，分别将数据的第一个分块和后续分块写入对应存储池中；数据读取步骤：通过条带化存储方式，并根据部署的存储冗余策略，分别将数据的第一个分块和后续分块从对应存储池中读取，与现有技术相比，本发明具有无需花费大量时间迁移原先已经写入的副本数据，且保证原先副本数据的可用性等优点。

技术领域

本发明涉及存储领域的数据冗余策略，尤其是涉及一种基于自适应存储冗余策略的存储方法。

背景技术

近年来，非结构化数据呈爆炸式、火箭式增长。传统存储在面对非结构化数据的时候，是心有余而力不足的。越来越多的企业级业务系统，在架构时，选择分布式存储系统用来存储它们的非结构化数据。

企业级业务系统在规划它们的存储系统时，会从扩展性、性价比、高可靠性等多方面进行考量。在初期时，往往会部署较小规模的存储集群满足企业近期存储的需求，通常三节点的集群可以满足高可用，高可扩展性的要求。但是三节点的集群存储冗余策略基本都是副本冗余策略的，很少可以采用纠删码(EC)冗余策略的。随着数据量的膨胀式增长，后续的存储集群规模越扩越大，采用副本冗余策略成本太高，逐步地会考虑采用纠删码冗余策略。

以副本冗余策略中三副本和纠删码冗余策略中EC 4+2(4个数据块，2个校验块)为例进行对比，三副本的存储利用率为三分之一，而EC 4+2的存储利用率为三分之二，纠删码的存储利用率为三副本的两倍。但是，如果一开始企业就选择纠删码的冗余策略，通常需要部署6个节点，而部署三副本，通常只需要部署3个节点，那么初期的规划成本就要高出一倍。

针对这种企业级业务的需求，初期成本投入成本低一些，部署副本冗余策略，后期逐步扩展到可支持纠删码的规模时，能够部署纠删码策略。这时存在一个问题是：原先大量的副本冗余策略的数据怎么处理？大多情况下采用数据迁移的方法，将副本数据重新上传一遍。这种方法周期长，且需要停止业务，等全部迁移完成后才能恢复业务。数据规模较大时，可能需要几十天的时间进行数据迁移，业务停止时间周期太长，恐怕难以接受。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种无需花费大量时间迁移原先已经写入的副本数据，且保证原先副本数据的可用性的基于自适应存储冗余策略的存储方法。

本发明的目的可以通过以下技术方案来实现：

一种基于自适应存储冗余策略的存储方法，该存储方法包括以下步骤：

部署步骤：分别设置条带化存储方式中第一个分块和后续分块的最大容量；部署存储冗余策略配置信息，分别设定第一个分块和后续分块的存储冗余策略；

数据写入步骤：通过条带化存储方式，并根据部署的存储冗余策略，分别将数据的第一个分块和后续分块写入对应存储池中；

数据读取步骤：通过条带化存储方式，并根据部署的存储冗余策略，分别将数据的第一个分块和后续分块从对应存储池中读取。

该自适应存储冗余策略包括存储策略转变自适应和大小对象自适应；

所述的存储策略转变自适应具体包括：

S101：执行部署步骤，设置第一个分块和后续分块的最大容量，并设定第一个分块和后续分块的存储冗余策略采用相同的存储策略；

S102：执行数据写入步骤和/或数据读取步骤；

S103：集群规模扩展，再次执行部署步骤，改变后续分块采用的存储冗余策略；

S104：执行数据写入步骤和/或数据读取步骤；