[发明专利]写数据的方法、装置及计算机存储介质

说明书

公开了一种写数据的方法、装置及计算机存储介质，在该方法中，接收写数据请求，该写数据请求携带需要被写入存储系统的目标数据；然后将目标数据写入存储系统中，其中，该存储系统包括多个存储节点，同一个校验组的数据块存储在不同的存储节点，不同校验组存储于同一存储节点的数据块中至少有两个数据块在目标数据中相邻。这样后续负责处理该相邻数据块中的数据的计算节点在执行任务时，便可从同一存储节点读取到该相邻数据块中的数据。相对于相关技术将目标数据中一段连续数据打散分别存储在不同的存储点节点上，避免了需要跨存储节点才能访问到该相邻数据块中的数据，提高了读取相邻数据块中的数据的效率，提升了计算节点执行任务的效率。

技术领域

本发明涉及计算机存储技术领域，特别涉及一种写数据的方法、装置及计算机存储介质。

背景技术

目前，在将一个文件写入分布式存储系统时，是将文件划分为多个文件分块，然后将多个文件分块存储在分布式存储系统中的不同存储节点上。其中，每个文件分块的大小例如可以为128兆字节(megabyte，M)。

相关技术中，为了降低存储成本，通常是采用纠删码(erasure code，EC)技术来存储这多个文件分块。具体地，将每个文件分块划分为更小粒度的数据块，划分后的数据块的大小例如可以为1M。对于每个文件分块划分后的数据块，通过EC技术计算得到校验块，然后将数据块和校验块分别打散存储在不同的存储节点上。

上述基于EC技术存储文件后，在读取某个文件分块时，需要从不同的存储节点上分别读取各个数据块，这样就会产生跨节点的网络访问，从而降低了读取文件的速度。

发明内容

本发明方案提供了一种写数据的方法、装置及计算机存储介质，可以提高读取文件中的数据的速度。所述技术方案如下：

第一方面，提供了一种写数据方法，在该方法中，接收写数据请求，该写数据请求携带需要被写入存储系统的目标数据；将目标数据写入存储系统中，其中，该存储系统包括多个存储节点，同一个校验组的数据块存储在不同的存储节点，不同校验组存储于同一存储节点的数据块中至少有两个数据块在目标数据中相邻。

通过本发明方案提供的写数据方法，能够实现将目标数据中的部分相邻数据块写在同一存储节点上，这样后续负责处理该相邻数据块中的数据的计算节点在执行任务时，便可从同一存储节点读取到该相邻数据块中的数据。相对于相关技术将目标数据中一段连续数据打散分别存储在不同的存储点节点上，本发明方案提供的写数据方法避免了需要跨存储节点才能访问到该相邻数据块中的数据，从而提高了读取相邻数据块中的数据的效率，进而提升了计算节点执行任务的效率。也即是，通过本发明方案提供的写数据方法，不仅可以通过校验组技术实现存储系统的低成本，又能保证后续计算节点执行任务的高性能。

在一种可能的实现方式中，这多个存储节点中每个存储节点包括多个存储器；其中，存储于同一存储节点的目标数据中相邻数据块分布在该同一存储节点的不同存储器中。基于该配置，可以将目标数据的一段连续数据存储在同一存储节点的不同硬盘上，进而提升本地访问的并发度。

在一种可能的实现方式中，同一校验组的数据块中至少两个数据块在目标数据中不相邻。通过该配置，提供了一种如何得到校验组的方法。

在一种可能的实现方式中，在该方法中，还将目标数据划分为多个数据亲和组DAG，多个DAG中每个DAG包括多个数据块，多个数据块中的至少两个数据块在目标数据中相邻；相应地，同一校验组中的数据块分布于不同DAG，不同校验组中属于同一DAG的数据块存储在同一存储节点上。

通过将目标数据划分成多个DAG，以便于后续快速基于各个DAG中的数据块生成校验组。