[发明专利]云存储系统数据高效编码方法

说明书

技术领域

本发明涉及计算机信息存储技术领域，特别涉及一种云存储系统数据高效编码方法。

背景技术

云存储中的纠删码编码是指当数据写入云存储系统时，采用纠删码对数据进行编码以实现数据冗余保护，这样相比多副本容灾机制可以节省磁盘的存储空间，也可以保证数据在出错时能及时恢复。纠删码编码使得云存储系统的部署成本大大降低。但是利用纠删码的云存储系统在数据写入时必须对每k个数据块进行编码操作以得到纠删码，如何提高编码效率是个技术挑战。

目前比较流行的数据编码是柯西里德-所罗门编码（CRS编码），而针对CRS编码有两种不同的编码方案：第一，直接根据柯西矩阵进行数据编码，柯西矩阵中“1”的个数决定了编码的性能，但是当k，m,w较大时，柯西矩阵的个数是组合问题，在可以接受的一定时间内无法找到含“1”的个数最小的柯西矩阵；第二，利用执行数据编码所需异或操作顺序的调度进行数据编码，调度就是柯西矩阵的新的异或操作序列，以期望利用中间结果加速后续纠删码元素的计算，减少重复计算。但是，目前为止调度算法都是启发式的，用它们对一个柯西矩阵求取调度时各自所得到的调度无法保证是所有调度方法中最优的，并且个柯西矩阵中究竟哪一个会产生比较好的调度，目前为止没有发现好的规律。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的目的在于提出一种云存储系统数据高效编码方法，该方法能够快速地为云存储系统选择目前技术水平下最优的编码方案，提高数据编码的性能，从而也提高数据写入云存储系统的效率。

为了实现上述目的，本发明的实施例提出了一种云存储系统数据高效编码方法，其中，所述云存储系统包括多个数据存储服务器和多个接入客户端，所述方法包括以下步骤：S1：每个接入客户端根据各自不同的启发式算法生成不同的柯西矩阵，并根据所述柯西矩阵和多个调度生成方法生成多个调度策略，并从所述多个调度策略中根据执行异或操作次数选择操作次数最少的第一调度策略；S2：所述数据存储服务器对所述多个接入客户端中每个接入客户端的第一调度策略进行分析，以得到执行异或操作次数最少的最优调度策略；S3：所述多个接入客户端根据所述最优调度策略对用户发送的数据进行编码，并将所述数据和编码所得冗余数据存储到所述多个数据存储服务器上。

根据本发明实施例的云存储系统数据高效编码方法，能够有效地为云存储系统选择目前技术水平下最优的编码方案，减少了数据编码时的异或操作次数，从而提高了编码性能；另外，在接入客户端上，采用分布式执行选择框架的方式，可以快速地生成目前技术水平下最优的编码方案；同时，该方法还可以提高数据写入云存储系统的效率。

另外，根据本发明上述实施例的云存储系统数据高效编码方法还可以具有如下附加的技术特征：

在本发明的实施例中，所述编码的编码方式为柯西里德-所罗门编码。

在本发明的实施例中，所述步骤S1具体包括：S11：所述每个接入客户端根据一个生成柯西矩阵的启发式算法生成一个柯西矩阵，其中，所述生成柯西矩阵的启发式算法可以有多个；S12：所述每个接入客户端分别根据多种求调度的启发式算法，计算对所述柯西矩阵的求取执行数据编码所需的异或操作顺序的调度，并从所述每个柯西矩阵的多个调度中选择执行异或操作次数最少的第一调度策略。

在本发明的实施例中，所述数据存储服务器根据多个第一调度策略中的异或次数得到最终异或次数最少的最优调度策略。

在本发明的实施例中，所述步骤S3具体包括：S31：接入客户端创建数据缓存区接收原始数据，直至k个数据块完全到达所述数据缓存区；S32：根据所述最优调度策略对所述k个数据块进行编码，得到m个纠删码块；S33：将所述k个数据块和所述m个纠删码块存入不同的k+m个数据存储服务器以实现数据冗余保护。在本发明的实施例中，所述调度策略为所述柯西矩阵与其对应执行数据编码所需异或操作顺序的调度的组合。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的云存储系统数据高效编码方法的流程图；

图2为根据本发明一个实施例的云存储系统数据高效编码方法的选择框架的建立的示意图；

图3为根据本发明一个实施例的云存储系统数据高效编码方法的分布式执行选择框架的示意图；