[发明专利]数据处理的方法和装置

说明书

本发明公开了一种数据处理的方法和装置。其中，该方法包括：获取输入数据的数据长度；根据数据长度确定条带所需的块数；根据块数对输入数据进行纠删码EC编码并存储为条带。本发明解决了由于现有技术配置的条带在数据写入读取的过程中降低了系统执行效率的技术问题。

技术领域

本发明涉及互联网技术领域，具体而言，涉及一种数据处理的方法和装置。

背景技术

存储系统中常见的两种可靠的存储数据的方法包括多副本冗余和纠删码技术(EC，Erasure Code)。其中，纠删码技术与多副本冗余不同，EC将m个原始数据块编码生成k个校验块，形成一个stripe组(条带)，之后系统可最多容忍任意k个原始数据块或校验块损坏，不会产生数据丢失。相对于多副本冗余，纠删码在不影响数据可靠性前提下可将数据存储冗余度降低50％以上，大大降低了存储成本。

在线应用中，写操作的偏移和长度往往不会跟stripe组对齐，处理不对齐写入是在线EC和离线EC的最大差别。其中，在处理不对齐写入的过程中额外填充无效数据进行条带数据补齐，然后进行EC编码和写入。但额外数据填充会带来额外的计算开销和存储开销。条带越大意味着填充越多，并且不利于大数据的并发读写，但条带也不能设置太小，条带太小会带来更多的小数据读取分散于多个条带。

而现有配置条带大小的方法中主要包括：固定条带方案,即在数据写入过程中，条带的大小是固定的。

但是上述方式在配置条带大小的过程中存在如下问题：固定条带方案导致块数不易设置，并且会带来较大的额外计算开销和存储开销。

针对上述由于现有技术配置的条带在数据写入读取的过程中降低了系统执行效率的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据处理的方法和装置，以至少解决由于现有技术配置的条带在数据写入读取的过程中降低了系统执行效率的技术问题。

根据本发明实施例的一个方面，提供了一种数据处理的方法，包括：获取输入数据的数据长度；根据数据长度确定条带所需的块数；根据块数对输入数据进行纠删码EC编码并存储为条带。

可选的，根据数据长度确定条带所需的块数包括：在预设纠删码编码参数包括每行的数据块数和每行的校验块数的情况下，根据每行的数据块数计算存储输入数据所需的行数；根据行数与每行的数据块数和每行的校验块数计算存储输入数据的条带所需的块数。

可选的，根据块数对输入数据进行纠删码EC编码并存储为条带包括：将确定的块数分别与最大块数和最小块数进行比较；在块数大于最大块数的情况下，根据最大块数对输入数据进行纠删码EC编码并存储为条带；在块数小于最小块数的情况下，根据最小块数对输入数据进行纠删码EC编码并存储为条带。

可选的，该方法还包括：在块数位于最大块数与最小块数区间内的情况下，根据块数对输入数据进行纠删码EC编码并存储为条带。

可选的，该方法还包括：存储条带的条带大小和填充数据的起始位置。

可选的，该方法还包括：根据条带的条带大小和填充数据的起始位置，从条带中读取数据。

可选的，该方法还包括：当输入数据为数据量大的数据流时，若数据长度大于最大块数，则依据最大块数对输入数据进行纠删码EC编码并存储为条带，以多副本的形式存储数据流。

可选的，该方法还包括：当输入数据为数据量小的数据流时，若数据长度小于最小块数，则依据最小块数对输入数据进行纠删码EC编码并存储为条带，以单个副本的形式存储数据流。

根据本发明实施例的一个方面，提供了一种数据处理的装置，包括：获取模块，用于获取输入数据的数据长度；调整模块，用于根据数据长度确定条带所需的块数；数据生成模块，用于根据块数对输入数据进行纠删码EC编码并存储为条带。