[发明专利]基于磁盘簇的数据并行存储方法、装置以及数据读取方法

说明书

本发明公开了一种基于磁盘簇的数据并行存储方法、装置、设备及计算机可读存储介质，包括：生成待存储用户数据的元数据，根据元数据序列号进行随机哈希计算，根据哈希值在磁盘簇中选取存储用户数据的目标磁盘；判断目标磁盘的剩余存储容量是否大于等于预设容量阈值；若目标磁盘的剩余存储容量大于等于预设容量阈值，则将用户数据存储至目标磁盘的数据区，并将用户数据的元数据存储至目标磁盘的磁盘成员元数据区；更新所述磁盘簇中各个磁盘的磁盘簇元数据区中保存的目标磁盘的数据量与剩余存储容量。本发明所提供的方法、装置、设备及计算机可读存储介质，提高了数据存储性能。本发明还公开了一种基于磁盘簇的数据读取方法，可提高数据读取效率。

技术领域

本发明涉及云计算数据中心计算领域，特别是涉及一种基于磁盘簇的数据并行存储方法、装置、设备以及计算机可读存储介质，还涉及一种基于磁盘簇的数据读取方法。

背景技术

在云计算数据中心中，数据存储是用户关心的核心问题。而为了数据的性能和安全性，常使用独立磁盘冗余阵列（raid）的来把相同的数据存储在多个硬盘的不同的地方。通过数据校验提供容错功能，通过在多个磁盘上同时存储和读取数据来大幅提高存储系统的数据吞吐量。然而提供冗余数据校验提高数据安全性的同时，增加了数据的写放大，减小了存储系统的存储容量，降低了存储系统的性能。

因此，对于非关键数据可以采用raid0来提高性能和系统容量。但是由于raid0把同一份数据按照分条存放在不同的磁盘上，任何一块硬盘出现故障，整个系统将会受到破坏，可靠性非常高低；而且raid本身成本较高。

近年来JBOD（Just a Bunch Of Disks，磁盘簇）逐渐流行起来，JBOD为一个有多个磁盘驱动器的存储设备，又称作“Span”，Span是在逻辑上将几个物理磁盘一个接一个串联到一起，从而提供一个大的逻辑磁盘。Span上的数据简单的从第一个磁盘开始存储，当第一个磁盘的存储空间用完后，再依次从后面的磁盘开始存储数据。Span存取性能完全等同于对单一磁盘的性能。Span也不提供数据安全保障。它只是简单的提供一种利用磁盘空间的方法，Span的存储容量等于组成Span的所有磁盘的容量的总和。JBOD的优点在于成本低，且如果单个磁盘故障不会损失全部数据，其缺点为多个磁盘顺序存储，性能较低。

综上所述可以看出，如何提高数据存储性能是目前有待解决的问题。

发明内容

本发明的目的是提供一种基于磁盘簇的数据并行存储方法、装置、设备以及计算机可读存储介质，已解决现有技术中多个磁盘顺序存储导致数据存储性能较低的问题。本发明还提供了一种基于磁盘簇的数据读取方法。

为解决上述技术问题，本发明提供一种基于磁盘簇的数据并行存储方法，包括：

生成待存储用户数据的元数据，并根据所述元数据的序列号进行随机哈希计算，得到哈希值；

根据所述哈希值，在磁盘簇的多个磁盘中选取存储所述待存储用户数据的目标磁盘；其中，所述磁盘簇中的每个磁盘包括用于存放存储数据的数据区和用于存放描述所述存储数据的元数据的元数据区；所述每个磁盘的元数据区包括用于保存存储到本磁盘上的数据的元数据的磁盘成员元数据区和用于保存整个磁盘簇的磁盘数量，各磁盘数据容量、数据量与剩余存储容量的磁盘簇元数据区；

判断所述目标磁盘的剩余存储容量是否大于等于预设容量阈值；若所述目标磁盘的剩余存储容量大于等于所述预设容量阈值，则将所述待存储用户数据存储至所述目标磁盘的数据区，并将所述待存储用户数据的元数据存储至所述目标磁盘的磁盘成员元数据区；

更新所述磁盘簇中各个磁盘的磁盘簇元数据区中保存的所述目标磁盘的数据量与剩余存储容量。

优选地，所述判断所述目标磁盘的剩余存储容量是否大于等于预设容量阈值后包括：

若所述目标磁盘的剩余存储容量小于所述预设容量阈值，则判断所述磁盘簇中是否存在剩余存储容量大于等于所述预设容量阈值的磁盘；