[发明专利]分布式存储系统及分布式存储系统的读写方法

说明书

本发明公开了一种分布式存储系统，包括若干存储节点，还包括条带化处理模块、条带分发模块，所述条带化处理模块用于将用户请求划分为条带读写块，条带分发模块用于将所述条带读写块分发到各个存储节点的不同数据磁盘中。本发明还提供一种分布式存储系统的读写方法，能够通过对用户请求进行条带化处理，然后将处理后的条带读写块分发到不同的数据磁盘中，从而使用户请求不管是随机读写还是顺序读写都能够在不同的磁盘上同时进行，提高分布式存储系统的磁盘性能。

技术领域

本发明属于分布式存储技术领域，更具体地说，涉及一种分布式存储系统及分布式存储系统的读写方法。

背景技术

在目前的分布式存储系统中，条带化技术被广泛应用，所谓条带化技术，就是将一块连续的数据分成很多小部分并把他们分别存储到不同磁盘上去，这样能使多个进程同时访问数据的多个不同部分而不会造成磁盘冲突，而且在需要对这种数据进行顺序访问的时候可以获得最大程度上的I/O(Input/Output，磁盘的输入和输出或磁盘的读写)并行能力，从而获得非常好的性能。

当对数据做条带化时，数据被切成一块块的小数据块，各小数据块分布存储在不同的硬盘上。一般来说，影响条带化效果的因素有两个，一是条带大小（stripesize），即数据被切成的小数据块的大小，另一个条带宽度（stripe width），即数据被存储到多少块硬盘上。

条带宽度（stripewidth）是指同时可以并发读或写的条带数量。这个数量等于RAID中的物理硬盘数量。例如一个经过条带化的，具有4块物理硬盘的阵列的条带宽度就是4。增加条带宽度，可以增加阵列的读写性能。因为增加更多的硬盘，也就增加了可以同时并发读或写的条带数量。在其他条件一样的前提下，一个由8块18G硬盘组成的阵列相比一个由4块36G硬盘组成的阵列具有更高的传输性能。

条带大小（stripesize），有时也被叫做block size, chunk size, stripelength或者granularity。这个参数指的是写在每块磁盘上的条带数据块的大小。RAID的数据块大小一般在2KB到512KB之间(或者更大)，其数值是2的次方，如2KB、4KB、8KB、16KB等等。

如申请公布日为2015年5月20日，申请公布号为CN104639661A，专利名称为分布式存储系统及文件存储和读取方法的中国专利公开了一种技术方案，该分布式存储系统包括：存储池，其网络连接外接客户端，通过网络接收外接客户端上传的被存储文件；文件分块模块，其通信连接存储池，将被存储文件条带化处理成若干个文件块；若干存储节点，其分别通信连接所述文件分块模块，被存储文件分块产生的若干文件块分别存储于各个存储节点。该技术方案将被存储文件分成若干文件块并分别存储于若干不同的存储节点中，多个存储节点共同进行读写操作，分散原来一个存储节点的压力，以提高读写性能。

但实际使用中，由于条带大小对性能的影响较大，如果减小条带大小，则文件被分成了更多个、更小的数据块。这些数据块会被分散到更多的硬盘上存储，因此提高了传输的性能，但是由于要多次寻找不同的数据块，磁盘定位的性能就下降了。如果增加条带大小，则与减小条带大小相反，会降低传输性能，提高定位性能。

因此，针对不同的性能需求，不同驱动器的不同特点， 最佳条带大小可能不是普遍适用的。为此，业内开始针对固定条带大小进行改进，如申请公布日为2019年10月8日，申请公布号为CN110308875A，专利名称为数据读写方法、装置、设备及计算机可读存储介质的中国专利公开了另一种技术方案，包括：获取分布式存储系统当前的各物理节点包含的硬盘数量；获取上层应用在预设时长内下发的数据读写请求所请求读写的单位数据流的大小；根据所述硬盘数量调整与所述上层应用对应的条带宽度；根据所述单位数据流的大小调整与所述上层应用对应的条带深度；根据调整后的所述条带宽度和所述条带深度执行对所述各物理节点的数据读写操作。该发明能够实现条带深度和条带宽度的自适应调整，以提高分布式存储系统的读写性能。