[发明专利]数据处理方法、装置、设备及存储介质

说明书

本发明公开一种数据处理方法，通过将原始数据均分成若干数据块并对所述数据块分组；采用Clay码对组内数据块编码，得到局部校验块；采用RS码对所有数据块编码，得到全局校验块；检测损毁数据块的数量；当检测到只有一个所述损毁数据块时，根据所述损毁数据块所在组的其他数据块和所述损毁数据块所在组的局部校验块，修复所述损毁数据块；当检测到至少两个所述损毁数据块时，根据除损毁数据块所在组外的其他数据块及所述全局校验块，修复所述损毁数据块。本发明还公开了数据处理装置、设备及存储介质，能够通过设计新的编码，组内采用Clay码进行编码，组间采用RS码进行编码，以在修复一个数据块时降低下载的数据量，在修复多个数据块时降低计算开销。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术

全球数据量的爆炸式增长，对存储系统的存储能力带来了极高的要求，因此，具有高存储性能、扩展性强的分布式存储系统被广泛应用。与传统的集中式存储而言，分布式存储集群多数采用大量的跨地域节点存储海量数据并提供数据访问服务，这些服务节点的失效率很高，为了提供容错能力，传统的存储集群普遍采用存储开销成倍增长的多副本技术，而纠删码能以极低的存储开销提供相同甚至更高的容错能力，因此目前大多数存储集群通过结合纠删码这种数据修复策略来保证数据的可靠性。

纠删码首先将原始数据划分成若干同等大小的数据块，然后在有限域(内对数据块进行编码运算得到若干校验块。目前存储集群常用的纠删码有RS码和Clay码。

在进行数据修复时，经典的RS码涉及的矩阵运算简单，但是需要下载的数据量巨大，Clay再生码通过划分子块的技术以及更为复杂的编码运算使得修复一个数据块不需要下载其他编码块的完整数据，然而当修复多个数据块时，Clay再生码需要下载更多的子块参与计算，计算开销远大于RS码的有限域运算，以上的编码方式在进行数据修复时并不能兼顾修复一个数据块下载的数据量和修复多个数据块的计算开销。

发明内容

本发明实施例的目的是提供一种数据处理方法、装置、设备及存储介质。通过设计新的编码，组内采用Clay码进行编码，组间采用RS码进行编码，以在修复一个数据块时降低下载的数据量，在修复多个数据块时降低计算开销。

为实现上述目的，本发明实施例提供了一种数据处理方法，包括：

将原始数据进行均等划分，得到若干数据块，并将所述数据块进行分组；

采用Clay码对组内数据块进行编码得到局部校验块；

采用RS码对所有数据块进行编码得到全局校验块；

检测所述数据块中的损毁数据块的数量；

当检测到只存在一个所述损毁数据块时，根据所述损毁数据块所在组的其他数据块和所述损毁数据块所在组的局部校验块，修复所述损毁数据块；

当检测到存在至少两个所述损毁数据块时，根据除损毁数据块所在组外的其他数据块及所述全局校验块，修复所述损毁数据块。

作为上述方案的改进，所述采用Clay码对组内数据块进行编码得到局部校验块，具体包括：

对每一数据块进行划分，得到若干数据块子块；

采用Clay码对组内的数据块子块进行编码，得到局部校验块；其中，所述局部校验块包括若干局部校验块子块。

作为上述方案的改进，所述当检测到只存在一个损毁数据块时，根据所述损毁数据块所在组的其他数据块和所述损毁数据块所在组的局部校验块，修复所述损毁数据块，具体包括：

当检测到只存在一个所述损毁数据块时，从所述损毁数据块所在组的除损毁数据块外的其他数据块中，选出预设数量的数据块子块，从所述损毁数据块所在组的局部校验块中，选出所述预设数量的局部校验块子块，采用Clay解码操作以修复损毁数据块。