[发明专利]一种对象数据服务器读写请求的调度方法

说明书

技术领域

本发明属于计算机存储领域，具体涉及一种对象数据服务器读写请求的的调度方法。

背景技术

随着互联网业务量的增加、访问量和数据流量的快速增长，存储系统各个核心部分的处理的强度也相应增大，使得单一存储设备根本无法承担。在此情况下，如果扔掉现有设备去做大量的硬件升级，势必造成现有资源的浪费，而且再面临下一次业务量的提升，又将导致再一次硬件升级的高额成本投入，性能再卓越的设备也不能满足当前业务量要求。所以现在的存储系统需要面对性能、容量不同的异构存储设备。

在对象存储系统中，对象数据服务器实际上是部署在一台完整的服务器上，其后端直接或者通过网络挂载许多存储设备，如高端磁盘，固态盘(SSD)、附网存储系统(NAS)，存储区域网(SAN)，这些存储设备的能力有强有弱，存储的容量也有大有小。对象数据服务器计算功能强大，但网络的吞吐量远远大于存储设备的吞吐量，所以对象数据服务器处理读写请求的性能瓶颈往往存在于存储设备上；

处理上层的读写请求，现有的一种做法是对象数据服务器使用磁盘阵列(RAID)控制器将多个存储设备配成高性能的磁盘阵列，这就是硬件RAID的解决方法；还有一种做法是使用Linux系统自带的软件，将多个存储设备配成磁盘阵列，成为软RAID机制。硬件RAID的方法可以提高设备的性能和可靠性，但是它需要存储设备之间的性能和容量相当，无法配备异构的存储设备，而且往往价格昂贵。Linux系统自带的软RAID机制，可以便捷的解决不同性能、容量存储设备的调度，提高对象数据服务器的性能，但是它不能根据上层IO请求选择合适的存储设备进行服务，也不能在多个存储设备之间进行负载的迁移，不能保证存储设备的负载均衡。

本发明依据Linux系统，其中存储设备，包括磁盘、固态盘(SSD)以及非本机的附网存储系统(NAS)、存储区域网(SAN)，其中，将非本机的附网存储系统(NAS)、存储区域网(SAN)定义为虚拟设备。

设备挂载路径指的是存储设备挂载(mount)时，使用者指定的在linux操作系统上的路径，它与存储设备一一对应，通过对设备挂载路径的读写来实现对存储设备的读写操作。

设备标示符是存储设备的唯一标识；在对象存储系统中，对象标示符(OID)为64位的整数，用于唯一标识一个对象；对象标示符由客户端产生，并在请求的时候，作为参数传给对象数据服务器；对象数据服务器在处理读写请求的时候，由对象标示符对应的对象会被写在由设备标示符标识的存储设备上。

发明内容

本发明提供一种对象数据服务器读写请求的的调度方法，解决现有Linux系统自带软件不能保证存储设备负载均衡的问题，从而进一步提高对象数据服务器的可用性和性能。

本发明的一种对象数据服务器读写请求的的调度方法，包括下述步骤：

A.初始化步骤，包括以下过程：

(A1)设置设备列表、设备负载表、小磁盘组表、中磁盘组表、大磁盘组表、容量利用率升序表、源设备队列、目标设备队列、元数据信息表；设备列表表项包括设备标示符及其对应的设备挂载路径，设备负载表表项包括设备标示符及其对应的读写速率、容量、可用容量和设备利用率因子；大、中、小磁盘组表表项均包括磁盘组标示符及其对应的设备标示符、读写速率、容量、可用容量和设备利用率因子；容量利用率升序表表项包括设备标示符及其对应的可用容量和设备利用率因子；源设备队列表项和目标设备队列表项包括设备标示符；元数据信息表表项包括对象标示符及其对应的设备标示符；

按照各存储设备的可用容量大小，将存储设备分别归入大、中、小磁盘组；磁盘组标示符用于标示大、中、小磁盘组的类别；

(A2)除设备列表外，将上述其他各表的全部表项清空；用所有设备标示符及其对应的设备挂载路径初始化设备列表；

B.负载检测步骤，包括以下过程：

(B1).以文件系统标准测试程序iozone测试各存储设备的最大读写带宽，然后求N次测试的平均值，作为存储设备的最大读写带宽Wi；N≥3；

(B2).使用Linux系统调用应用程序接口(API)获取各存储设备负载信息，包括读写速率、容量和可用容量；

(B3).计算各存储设备利用率因子：

设备利用率因子＝设备读写速率/该存储设备的最大读写带宽Wi；

(B4).对各存储设备的设备利用率因子进行判断：