[发明专利]一种数据处理方法、装置、设备及介质

说明书

本申请提供一种数据处理方法，包括：接收到读取目标数据的读取指令，其中，目标数据存储在XOR纠删码节点和RS纠删码节点中；根据读取指令，判断纠删码节点是否存在故障，其中，纠删码节点包括XOR纠删码节点和RS纠删码节点；若不存在故障，则从XOR纠删码节点中读取目标数据；若存在故障，则确定故障的纠删码节点的故障数量，并根据故障数量利用对应的纠删码技术从对应的纠删码节点中读取目标数据。本申请在提升分布式存储文件系统的存储利用率的同时，提高了数据的安全性欲数据修复的能力。本申请同时还提供了一种数据处装置、电子设备和计算机可读存储介质，均具有上述有益效果。

技术领域

本申请涉及数据存储技术领域，特别涉及一种数据处理方法、数据处理装置、电子设备和计算机可读存储介质。

背景技术

为保证数据的可靠性和安全性，HDFS的每份数据默认有两个数据副本，副本提供了一种简单而健壮的冗余方式来最大化保证数据的可用性，但对应的消耗了巨大的存储空间，存储使用率仅为1/3。但随着需要存储的数据被越来越快的产生，越来越高的HDFS存储利用率要求被提出,纠删码技术开始应用于大数据领域。纠删码技术主要是通过利用纠删码算法将原始的数据进行编码得到校验，并将数据和校验一并存储起来，以达到容错的目的，与三副本方式相比，纠删码技术可以将存储成本降低。

但是，目前主要采取的是将EC纠删码策略应用于HDFS，使用更少的存储却可以保证相同级别的容错。纠删码技术主要是通过利用纠删码算法将原始的数据进行编码得到校验，并将数据和校验一并存储起来，以达到容错的目的。常用的EC纠删码策略有XOR纠删码和RS纠删码，其中，使用XOR策略，编解码速度快，性能高，但缺点是当丢失或损坏的数据位超过1位时，数据恢复的可靠性降低；使用RS纠删码可以容忍每组多个故障，但取而代之的是对CPU的消耗，当出现单个故障时，使用RS纠删码恢复数据性能较低。

因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。

发明内容

本申请的目的是提供一种数据处理方法、数据处理装置、电子设备和计算机可读存储介质，能够自适应的进行目标数据的读取，在提升分布式存储文件系统的存储利用率的同时，提高了数据的安全性与数据修复的能力。其具体方案如下：

本申请公开了一种数据处理方法，包括：

接收到读取目标数据的读取指令，其中，所述目标数据存储在XOR纠删码节点和RS纠删码节点中；

根据所述读取指令，判断纠删码节点是否存在故障，其中，所述纠删码节点包括所述XOR纠删码节点和所述RS纠删码节点；

若不存在故障，则从所述XOR纠删码节点中读取所述目标数据；

若存在故障，则确定故障的纠删码节点的故障数量，并根据所述故障数量利用对应的纠删码技术从对应的所述纠删码节点中读取所述目标数据。

可选的，所述接收到读取所述目标数据的读取指令之前，还包括：

接收到所述目标数据的写指令；

根据所述写指令将所述目标数据按照XOR纠删码技术存储在所述XOR纠删码节点中，将所述目标数据按照RS纠删码技术存储在所述RS纠删码节点中。

可选的，所述根据所述故障数量利用对应的纠删码技术从对应的所述纠删码节点中读取所述目标数据，包括：

判断所述故障数量是否小于预设阈值；

若小于所述预设阈值，则利用所述XOR纠删码技术从所述XOR纠删码节点中读取所述目标数据；

若不小于所述预设阈值，则判断所述XOR纠删码节点的XOR故障数量是否小于所述预设阈值；

若所述XOR故障数量小于所述预设阈值，则利用所述XOR纠删码技术从所述XOR纠删码节点中读取所述目标数据；