[发明专利]对象存储分布式服务质量的优化系统、方法、设备和介质

说明书

本发明提出了对象存储分布式服务质量的优化系统、方法、设备和介质，该系统包括存储集群、若干存储网关和至少一个数据库；存储集群与存储网关通讯连接；存储网关与数据库通信连接；存储网关用于接收用户的HTTP访问请求，处理所述请求后写入存储集群；数据库用于保存与在前存储网关通信周期的带宽信息，通过用户的带宽阈值和所述与在前网关通信周期的带宽信息，平衡存储集群内部每个存储网关的带宽。基于该系统，本发明还提出了对象存储分布式服务质量的优化方法、设备和介质，本发明提出了一种高效的多网关之间信息同步方式，用于对象存储QOS功能，使用redis内存数据库来存储网关间需要同步的数据，通知变慢以及消息风暴缺点。

技术领域

本发明属于分布式存储技术领域，特别涉及对象存储分布式服务质量的优化系统、方法、设备和介质。

背景技术

随着互联网的发展，互联网数据量，即非结构化数据越来越大，分布式对象存储应运而生。这种新兴的存储方式，适用于图片、视频等非结构化数据的存储。它同时又具有块存储高速直接访问磁盘的特点以及文件存储分布式共享的特点，因此一经推出就得到广泛的发展与应用。

对象存储：是ceph集群的一种客户端，支持分布式，支持HTTP协议。Ceph：一个分布式存储系统。Redis:是一个内存key-value数据库。对象存储网关的作用是接受客户端发来的HTTP请求，经过一系列处理之后写到存储集群里，对象网关QOS的作用就是限制每个用户的带宽不超过规定值。qos即服务质量，用在对象存储的QOS上就是给每个用户提供预留带宽和上限带宽，低于预留带宽的用户请求会被无条件立即执行，高于上限带宽的用户请求会被限制执行。由于对象网关是分布式的特点，所以一个用户的请求会从多个网关进入存储系统，所以这个时候为了保证QOS功能的可用，就需要统计每个网关接收了多少请求，带宽是多少，也就是每个网关都知道集群所有网关接受的流量。所以这里不可避免的需要一个通知机制。

目前ceph集群有一种通知机制就是watch-notify机制，基本原理是一个对象网关注册一个watcher，当另一个网关有需要通知的事件时将需要发送的数据通知出去，然后注册watcher的网关就能接收到另一个网关发送的数据，这样就完成了网关之间的通信，信息传输。watch-notify机制是一个网关把需要通知的数据写入底层对象中，也就是写入到磁盘里，然后当这个对象检测到有数据变化时就以广播的方式通知到其他所有注册过的网关。这种方式有两个缺点，第一个是其需要落盘的限制，当一个存储系统处于大压力时，由于watch-notify 机制需要写磁盘，必定会收到影响，通知变慢或者卡主，这个时候各个网关就不能及时接收到其他网关的带宽信息，导致QOS功能不可用。第二个缺点是 watch-notify机制的广播特性，也就是每个网关都会向集群内所有网关发送信息，当网关个数比较多的时候，比如有10个网关，一次通知就需要10*9＝90 次分发操作，而且两个区域间的QOS功能不能通过watch-notify机制通知，因为两个区域是两套集群，watch-notify只是单集群内的通知机制。

发明内容

为了解决上述技术问题，本发明提出了对象存储分布式服务质量的优化系统、方法、设备和介质，使用redis内存数据库来存储网关间需要同步的数据，解决上述的通知变慢以及消息风暴缺点。

为实现上述目的，本发明采用以下技术方案：

对象存储分布式服务质量的优化系统，包括存储集群、若干存储网关和至少一个数据库；

所述存储集群与存储网关通讯连接；所述存储网关与数据库通信连接；所述存储网关用于接收用户的HTTP访问请求，处理所述请求后写入存储集群；所述数据库用于保存与在前存储网关通信周期的带宽信息，通过用户的带宽阈值和所述与在前网关通信周期的带宽信息，平衡存储集群内部每个存储网关的带宽。

进一步的，所述存储集群为存储节点或者存储区域。

进一步的，所述数据库采用redis数据库。

进一步的，所述数据库互为冗余。