[发明专利]数据处理方法、装置、存储介质以及处理器

说明书

本申请公开了一种数据处理方法、装置、存储介质以及处理器。其中，该方法包括：接收写入数据；将待写入数据进行分片处理，得到多个分片数据；将多个分片数据分布存储于多个编码块中，并在多个编码块中的一个编码块的填充区存储多个分片数据的存储信息，其中，编码块为采用纠删码方式存储数据的编码过程中待编码的数据块。本申请解决了相关技术在对数据进行处理时，不仅存在流量、空间的耗费，而且处理烦杂的技术问题。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据处理方法、装置、存储介质以及处理器。

背景技术

随着计算机技术的不断发展，分布式系统的存储规模也越来越大，分布式系统的容错性能至关重要，数据的存储成本与可靠性是关键因素。其中，纠删码可以在保证分布式系统的数据可靠性的前提下，节约系统的存储开销。

目前，分布式系统通常采用异步编码的方式，即首先对数据进行多副本存储，并在分布式系统的后台采用一定的策略将其转换成纠删码方式进行存储。

然而，上述方式对数据的读写流量进行了放大，并且系统的存储空间占用率偏高。另外，由于纠删码文件需要使用对齐的数据来计算校验数据，而写请求的大小通常是随机的，因此，采用将数据直接写入纠删码文件的方式，需要添加填充数据，而添加填充数据无疑占用系统的冗余存储空间，还使得存储空间的有效数据管理困难。

因此，相关技术中，采用多副本存储的方式对数据进行处理时，会导致读写流量放大；而采用纠删码的方式进行处理时，由于需要填充数据，又会导致冗余空间的占用以及复杂空洞。因此，在相关技术在对数据进行处理时，不仅存在流量、空间的耗费，而且处理烦杂的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据处理方法、装置、存储介质以及处理器，以至少解决相关技术在对数据进行处理时，不仅存在流量、空间的耗费，而且处理烦杂的技术问题。

根据本发明实施例的一个方面，提供了一种数据处理方法，包括：接收写入数据；将待写入数据进行分片处理，得到多个分片数据；将多个分片数据分布存储于多个编码块中，并在多个编码块中的一个编码块的填充区存储多个分片数据的存储信息，其中，编码块为采用纠删码方式存储数据的编码过程中待编码的数据块。

根据本发明实施例的另一方面，还提供了一种数据处理方法，包括：接收数据读请求；响应于数据读请求，确定存储待读取数据的存储信息的编码块，其中，待读取数据被划分为多个分片数据，并分布存储于多个编码块中，编码块为采用纠删码方式存储数据的编码过程中待编码的数据块；从编码块的填充区读取多个分片数据的存储信息，并依据存储信息读取数据。

根据本发明实施例的另一方面，还提供了一种数据处理装置，包括：第一接收模块，用于接收待写入数据；分片模块，用于将待写入数据进行分片处理，得到多个分片数据；存储模块，用于将多个分片数据分布存储于多个编码块中，并在多个编码块中的一个编码块的填充区存储多个分片数据的存储信息，其中，编码块为采用纠删码方式存储数据的编码过程中待编码的数据块。

根据本发明实施例的另一方面，还提供了一种数据处理装置，包括：第二接收模块，用于接收数据读请求；确定模块，用于响应于数据读请求，确定存储待读取数据的存储信息的编码块，其中，待读取数据被划分为多个分片数据，并分布存储于多个编码块中，编码块为采用纠删码方式存储数据的编码过程中待编码的数据块；读取模块，用于从编码块的填充区读取多个分片数据的存储信息，并依据存储信息读取数据。

根据本发明实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行数据处理方法。

根据本发明实施例的另一方面，还提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行数据处理方法。