[发明专利]一体化云存储系统及其存储方法

摘要

本发明公开了一种一体化云存储系统及其存储方法，所述一体化云存储系统包括交换机，所述的交换机与元数据主服务器、元数据备份服务器以及一个以上的存储数据服务器相连接，所述的交换机、元数据主服务器、元数据备份服务器以及一个以上的存储数据服务器构成了一体化云存储系统的存储服务层，并结合其存储方法可有效避免现有技术中的存储服务支持系统单一、存储空间扩展困难以及存储性能有待提高的缺陷。

主权项

一种一体化云存储系统的存储方法，其特征在于：一体化云存储系统，包括交换机(1)，所述交换机(1)与元数据主服务器(2)以及一个以上的存储数据服务器(4)相连接，所述元数据主服务器(2)负责管理文件系统，所述交换机(1)为元数据主服务器(2)与各存储数据服务器(4)之间的网络通讯建立连接，所述存储数据服务器(4)负责存储用户的实际数据；所述交换机(1)、元数据主服务器(2)以及一个以上的存储数据服务器(4)构成一体化云存储系统的存储服务层；所述交换机(1)与网络(5)相连接，Linux系统服务器(6)和Windows系统服务器(7)与所述网络(5)相连接，所述网络(5)、Linux系统服务器(6)和Windows系统服务器(7)构成一体化云存储系统的应用服务层；一个以上的用户终端(8)与所述网络(5)相连接，所述用户终端(8)构成一体化云存储系统的用户层，是整个一体化云存储系统的存储方案中存储资源的提供者；所述的交换机(1)为各服务器间的网络通讯建立连接；所述存储服务层还包括与交换机(1)相连的元数据备份服务器(3)，元数据备份服务器(3)是元数据服务器(2)的镜像，负责当元数据主服务器(2)异常时提供恢复的数据及相关日志；所述交换机(1)通过高速网络数据传输通路与网络(5)相连接，Linux系统服务器(6)和Windows系统服务器(7)通过高速网络数据传输通路与网络(5)相连接；存储方法包括以下步骤：步骤1：首先、元数据主服务器(2)通过交换机(1)发出分组指令将存储数据服务器(4)按照预设的分组需求进行分组；然后、当用户终端(8)需要向一体化云存储系统的存储服务层读数据或写数据时，用户终端(8)发送相应的读指令或写指令通过网络(5)操纵高速网络数据传输通路发送到交换机(1)；步骤2：交换机(1)将接收到的读指令或写指令发送到元数据主服务器(2)中，元数据主服务器(2)通过负载均衡器获取所有存储数据服务器(4)各自的存储状态信息值，再根据存储状态信息值导出对应的存储数据服务器(4)的负载均衡状态值，元数据主服务器(2)将所有的存储数据服务器(4)各自的存储状态信息值和负载均衡状态值通过交换机(1)发送回用户终端(8)，用户终端(8)再按照均衡策略依次通过网络(5)和交换机(1)向对应的存储数据服务器(4)写入使其达到负载均衡的数据，完成写操作；如果元数据主服务器(2)接收到的是读指令，元数据主服务器(2)将读指令所针对的读取数据在对应的存储数据服务器(4)上的存储信息通过交换机(1)发送回用户终端(8)，用户终端(8)根据所接收的存储信息，通过交换机(1)把对应的存储数据服务器(4)上需要读取的数据传递回用户终端(5)，完成读操作；具体处理方法包括以下步骤：步骤(1)，元数据主服务器启动，存储数据服务器上报磁盘容量，判断是否为存储数据服务器首次上报，如果是，则随机生成初始载重Payload<1；否则，更新存储数据服务器磁盘信息；步骤(2)，客户端请求数据块chunk块，客户端执行动态负载均衡操作，响应客户端请求数据块；客户端的动态均衡操作包括以下步骤：步骤(2.1)，计算每个存储数据服务器的Ratio值，Ratio值为当前存储服务的总空间值/存储数据服务器中最大总空间值的比值；步骤(2.2)，统计有效存储数据服务器个数TotalNum和当前Payload值大于1的有效存储数据服务器个数AvailableNum；步骤(2.3)，判断请求副本个数Copies是否大于TotalNum，如果大于，则令Copies等于TotalNum；否则执行步骤(2.4)；步骤(2.4)，判断AvailableNum是否小于Copies，如果是，则将所有有效存储数据服务器当前的Payload值加上Ratio值，并且重新统计当前Payload值大于1的有效存储数据服务器个数AvailableNum，之后继续判断AvailableNum是否小于Copies，如果是继续重复执行步骤(2.4)，否则执行步骤(2.5)；步骤(2.5)，根据存储数据服务器的Payload值，将存储数据服务器由大到小进行排序，把数据存入Payload值较大的存储数据服务器，同时把被存入数据的存储数据服务器的Payload值减去1.0，处理过程结束；步骤(3)，开始巡检存储数据服务器，存储数据服务器执行动态负载均衡操作，巡检存储数据服务器结束，元数据主服务器停止；存储数据服务器的动态均衡操作包括以下步骤：步骤(3.1)，计算每个存储数据服务器(4)的空间占用率，然后计算所有存储数据服务器(4)的平均空间占用率，最后计算每个存储数据服务器(4)的空间占用率与平均空间占用率的差值；步骤(3.2)，随机选取空间占用率大于阈值的存储数据服务器(4)作为源存储服务器，随机选取空间占用率小于阈值的存储数据服务器(4)作为目标存储服务器；步骤(3.3)，判断当前源存储服务器和目标存储服务器的负载是否超过负载阀值，如果超过，则将源存储服务器上的一个数据块移动到目标存储服务器上；步骤(3.4)，判断是否需要继续执行动态均衡操作，如果需要，则重复执行步骤(3.1)‑步骤(3.3)的操作，否则退出。