[发明专利]一种实现云存储资源调度的系统及方法

说明书

技术领域

本发明涉及云存储系统，尤其涉及云存储资源调度的系统及方法。

背景技术

云存储系统是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。云存储的核心是将应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。

云存储系统的存储资源，可以由专属的存储服务器节点充当，但为了更好地实现“云”的概念，提倡一旦有多余的存储资源加到云端，便可被调度使用。所以，云存储系统通常情况下对存储资源不做专属限制，可以是普通个人计算机中多余的存储资源，也可以是专属服务器中多余的存储资源。

云存储系统架构大致可以分为资源反馈层、资源调度层以及服务代理层，其中，资源反馈层主要用于获取和记录各存储子节点的存储资源信息；资源调度层主要用于利用资源反馈层获取的存储服务器的资源信息进行资源查询、计算及调度，将相应的存储服务器资源分配给请求的用户使用；服务代理层则主要用于对用户的请求进行拆分，针对新用户则需要利用资源调度层分配相应的存储服务器资源，然后由相应的存储服务器进行响应用户请求；针对老用户的数据读写请求，根据资源调度层记录的资源信息将请求直接发送给相应存储服务器进行处理。在云存储系统架构中，采用数据流与管理分离的策略实现对数据的访问和管理，这一点体现在最上层的服务代理层。

由于云存储系统架构通过上述分层方式将数据流与管理进行分离，那么当系统中有成千上万个存储节点时，各个存储节点需要及时反馈各自的资源 信息，以便于系统上层进行资源调度时合理分配相应的存储资源。因此，如何及时或快速地获取各个存储服务器资源节点的信息，就显得十分重要。

目前，一些较为成熟的云存储系统(如Amazon Simple Storage System，亚马逊简单存储系统)均为商用系统，其技术细节往往对外不公开，譬如上述云存储系统的分层架构是如何具体实施对成千上万个存储节点的资源信息的反馈并根据反馈的资源信息合理分配及调度存储资源，均未公开；由于高可靠性云存储方案的实施难度较大，因此对于一些有云存储需求的用户而言，需要花费较多的成本。

发明内容

本发明所要解决的技术问题是提供一种实现云存储资源调度的系统及方法，能够及时获取到存储资源信息供资源合理调度。

为了解决上述技术问题，本发明提供了一种实现云存储资源调度的系统，至少包括多个存储服务器和分布式缓存服务器，其中：

存储服务器，用于每隔一段时间将本服务器的存储资源信息通过分布式对象缓存接口反馈给分布式缓存服务器；

分布式缓存服务器，用于保存各个存储服务器反馈的存储资源信息。

进一步地，分布式对象缓存接口为Memcached协议接口，即

存储服务器定期获取本服务器内磁盘及文件系统的资源信息，将该资源信息组织成Memcached协议接口格式的行命令反馈给分布式缓存服务器。

进一步地，行命令至少包括以下参量：

命令类型，用于指示命令的类型，包括信息获取命令、信息添加命令、信息更新命令以及信息替换命令中的一种或多种；

键名，用于唯一标识一个资源库，或者指示存储服务器的主机地址和端口；

键值，在键名标识资源库时指示存储服务器的主机地址和端口，在键名指示主机地址和端口时给出相应的存储服务器的资源状态值；

命令结束符，用于指示行命令结束。

进一步地，行命令还包括超时时间参量，用于指示资源信息在分布式缓存服务器上的有效期限；当该超时时间参量设为0，表示资源信息在分布式缓存服务器上永远有效，当该超时时间参量设为大于0的整数k时，该k表示资源信息在分布式缓存服务器上的超时时间。

进一步地，行命令还包括数据长度参量，用于指示资源信息的数据或块数据的长度；在含该数据长度参量的命令行的命令结束符后，还包括资源信息的数据或块数据内容。

进一步地，

分布式缓存服务器还主动向存储服务器发出信息获取指令，记录存储服务器反馈的存储资源信息；

存储服务器还根据所述信息获取指令通过分布式对象缓存接口反馈本服务器的存储资源信息。

进一步地，该方法还包括：