[发明专利]一种高IO吞吐量的云存储读写方法

说明书

技术领域

本发明属于云存储技术领域，具体的说，是涉及一种高IO吞吐量的云存储读写方法。

背景技术

近年来，随着云计算的兴起，云存储成为信息存储领域的一个研究热点。与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的系统。 云存储提供的是存储服务，存储服务通过网络将本地数据存放在存储服务提供商(SSP)提供的在线存储空间。需要存储服务的用户不再需要建立自己的数据中心，只需向SSP申请存储服务，从而避免了存储平台的重复建设，节约了昂贵的软硬件基础设施投资。 

IOPS (Input/Output Per Second)即每秒的输入输出量(或读写次数)，是衡量磁盘性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量，一般以每秒处理的I/O请求数量为单位，I/O请求通常为读或写数据操作请求。随机读写频繁的应用，如OLTP(Online Transaction Processing)，IOPS是关键衡量指标。另一个重要指标是数据吞吐量(Throughput)，指单位时间内可以成功传输的数据数量。对于大量顺序读写的应用，如VOD(Video On Demand)，则更关注吞吐量指标。

传统磁盘本质上一种机械装置，如FC, SAS, SATA磁盘，转速通常为5400/7200/10K/15K rpm不等。影响磁盘的关键因素是磁盘服务时间，即磁盘完成一个I/O请求所花费的时间，它由寻道时间、旋转延迟和数据传输时间三部分构成。

普通云存储中，一个数据至少有三个备份，有写入请求时，必须要完成三份数据的写入。当用户向客户端发送请求，客户端向元数据服务器发送读写请求数据块，元数据服务器接收到请求数据块，在磁盘中读出这三份请求数据块的地址信息，请求数据块所在的数据节点为：D1、D2、D3。然后将此地址信息返回给客户端，客户端收到地址信息后，直接访问数据节点中的地址，先访问D1数据节点完成写入。完成 D1中的数据写入后再去D2中写入备份数据，等D2数据节点完成写入后再去D3中写入数据。当D1、D2、D3中的数据都写入完成，返回成功。如图1所示，整个读写请求过程中， 磁盘IOPS是瓶颈，吞吐量低，所以速度慢，性能低。

发明内容

本发明的目的在于克服上述缺陷，提供一种IO吞吐量高、数据处理速度快、性能大幅度提高的高IO吞吐量的云存储读写方法。

为了实现上述目的，本发明采用了技术方案如下：

一种高IO吞吐量的云存储读写方法，包括以下步骤：

（1）用户向客户端发送请求；

（2）客户端接收到上述请求后，向元数据服务器发送请求数据块；

（3）元数据服务器接收到请求数据块后，在磁盘中读出请求数据块所在的数据节点的地址信息，并将读出的请求数据块的地址信息发送回客户端；

（4）将数据块切片成为数据页，根据数据节点数量，将数据页整列划分为多个数据条带，每个数据条带包含多个数据页；

（5）将数据条带分别发送给不同的数据节点；

（6）各数据节点接受完自己所属的数据条带后，对客户端返回写入成功；

（7）数据节点自行进行数据片的备份复制工作，其备份数量为除该数据节点以外的数据节点数量；

（8）数据节点将复制的数据片分别备份至其余数据节点。

其中，所述步骤（4）中，数据块的切片方式如下：数据存放在虚拟磁盘上，虚拟磁盘分为多块数据块，每块数据块由多片数据页组成，将数据页整列划分为多个数据条带并分散到多个不同的数据节点中。

与现有技术相比，本发明的有益效果在于：

本发明相较于现有技术而言，其数据处理性能大幅度提高、数据处理速度快、IO吞吐量高。为其大范围了推广应用，奠定了坚实的基础。

附图说明

图1为现有技术。

图2为本发明的工作原理示意图。

具体实施方式

下面结合实施例对本发明作进一步说明。本发明的实施方式包括但不限于下列实施例。

实施例