[发明专利]数据处理方法、装置、电子设备及存储介质

说明书

本发明提供了一种数据处理方法、装置、电子设备及存储介质，所述方法包括：客户端对待存储至分布式存储系统的原始数据进行纠删码编码，得到对应的数据块，向分布式存储系统的元数据服务器发送数据上传请求，以得到用于存储数据块的目标存储节点的存储位置信息，基于存储位置信息将数据块存储至目标存储节点。本方案在客户端中对待存储至分布式存储系统的数据进行纠删码处理，得到数据块，直接将数据块存储至分布式存储系统中，相比于现有的分布式存储系统先进行三副本存储，再进行纠删码处理，本方案数据存储所占用的空间更少，且无需维护两份索引，存储成本更低。

技术领域

本发明涉及数据存储领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

随着分布式存储系统规模的不断扩大，系统可靠性的问题逐渐受到人们的重视，为了防止磁盘数据丢失，提升系统可靠性，分布式存储系统多采用数据冗余技术进行数据存储。

现有分布式存储系统的存储方式为：先将数据以多副本的方式写入分布式存储系统的多个存储节点中，待存储一定时间后，再通过纠删码(erasure coding，下简称EC)技术将副本分成多份数据分布在多个存储节点中。

由此可见，利用上述存储方式进行数据存储需要占用较多的存储空间，空间利用率低。

发明内容

为了解决现有分布式存储系统的存储方式空间利用率低的技术问题，本发明提供了一种数据处理方法、装置、电子设备及存储介质。

第一方面，本发明实施例提供了一种数据处理方法，应用于客户端，所述方法包括：

对待存储的原始数据进行纠删码编码，得到对应的数据块；

向分布式存储系统的元数据服务器发送数据上传请求；

接收所述元数据服务器基于所述数据上传请求发送的目标存储节点的存储位置信息；

基于接收到的所述存储位置信息将所述数据块存储至所述目标存储节点。

作为一种可能的实现方式，所述方法还包括：

接收所述目标存储节点发送的第一指示消息，所述第一指示消息用于指示所述数据块是否成功写入所述目标存储节点；

若每一所述第一指示消息均指示所述数据块成功写入所述目标存储节点，则确定所述原始数据成功存储至所述分布式存储系统；

若任意所述第一指示消息指示所述数据块未成功写入所述目标存储节点，则确定所述原始数据未成功存储至所述分布式存储系统。

作为一种可能的实现方式，所述若任意所述第一指示消息指示所述数据块未成功写入所述目标存储节点，则确定所述原始数据未成功存储至所述分布式存储系统，包括：

若任意所述第一指示消息指示所述数据块未成功写入所述目标存储节点，则确定所述任意第一指示消息的数量；

若所述数量不满足设定条件，则确定所述原始数据未成功存储至所述分布式存储系统。

作为一种可能的实现方式，所述方法还包括：

若所述数量满足设定条件，则确定所述原始数据成功存储至所述分布式存储系统，以及控制所述元数据服务器根据成功写入所述目标存储节点的数据块对未成功写入所述目标存储节点的数据块进行恢复。

第二方面，本发明实施例还提供了另一种数据处理方法，应用于客户端，所述方法包括：

当接收到数据读取请求时，确定待读取的目标数据在分布式存储系统中对应的存储位置信息；

向与所述存储位置信息对应的存储节点发送数据下载请求，以使所述存储节点向所述客户端发送存储的数据块；