[发明专利]一种基于以太网的集群式多级存储管理系统及方法

说明书

技术领域

本发明涉及的是一种存储数据的系统及方法，特别涉及的是一种基于以太网的集群式多级存储管理系统及方法

背景技术

所谓数据的多级存储，是指数据客体存放在不同级别的存储设备(磁盘、磁盘阵列、光盘库、磁带库等)中，通过多级存储管理软件实现数据客体在存储设备之间的自动迁移。数据迁移的规则是可以人为控制的，通常是根据数据的访问频率、保留时间、容量、性能要求等因素来确定的最佳存储策略。在多级数据存储结构中，磁带库等成本较低、速度慢的存储资源用来存放访问频率较低的信息，而磁盘或磁盘阵列等成本高、速度快的设备，用来存储经常访问的重要信息。

数据从产生到存储、利用、归档，最后超过存储期限被删除，数据被读取的频率会逐渐下降，数据存储的位置也应该随之变化，以提高存储设备的使用率，降低存储成本。以SAN(存储区域网)为核心的数据多级存储管理(HierarchicalStorage Management，HSM)模式应用越来越普及，而在实际应用过程事中，用户通过以太网访问存储在SAN中的数据，特别是在多并发状态下访问近线、离线存储区中的数据时，由于管理服务器(负责实现数据在在线、近线与离线存储区间迁移和提供数据交互访问服务)只有一台，尽管其能控制多台磁带驱动器，但在海量数据的迁移与访问时，将会造成服务器负载的双重压力，出现数据迁移速度及数据访问性能瓶颈，严重时可能出现系统瘫痪，不能发挥SAN的优势，影响应用系统整体性能。

用户在使用HSM相关软件产品进行存储管理时，存在不可弥补的缺陷，主要表现在以下方面：

首先HSM相关软件安装在一台服务器上，负责整个存储系统的管理，并将数据共享给用户。因系统只能运行在一台服务器上不支持服务器集群技术，任务处理能力有限，可扩展性不强，若出现大量的并发数据访问任务时，系统将出现I/O瓶颈，严重时导致单点故障；

其次一个好的HSM软件，数据迁移功能的设计尤为重要。HSM相关软件安装在一台服务器上，负责整个存储系统的管理，并按用户既定的数据迁移规则，实现数据在各级存储区间的自动迁移。一般地，把在线存储区中的数据迁移至近线、离线存储区时，数据迁移可利用系统空闲时段进行集中处理，但发生多并发访问近线、离线存储区中的数据，特别是大数据量时，由于一台服务器数据迁移速度及管理磁带驱动器能力有限，势必出现迁移任务排队现象，形成数据迁移瓶颈，严重时出现机器崩溃，最终导致业务处理系统等待、闲置；

再次HSM相关软件在实现数据迁移时是以单个文件为单位，在读写小而多的文件时，会因磁带驱动器读写速度缓慢影响数据迁移速度；

最后由于HSM相关软件产品的数据存储、迁移的控制信号不能与数据的实际传输通路相分离，部分数据仍然需要通过以太网来传送，因此，数据迁移策略不能和磁盘阵列SAN共享技术并存；

为克服上述的技术缺陷，本发明创作人经过长时间的研究和开发终于获得本发明的产生。

发明内容

本发明的目的在于，提供一种基于以太网的集群式多级存储管理系统及方法，用以克服上述的技术缺陷。

为实现上述目的，本发明采用的技术方案在于，提供一种基于以太网的集群式多级存储管理系统，其包括：客户端、存储单元，控制调度单元，所述的存储单元包括：在线存储区、近线存储区以及离线存储区，其中，所述的控制调度单元包括：至少一网络文件系统服务器、至少一数据迁移器以及一多级存储管理数据服务器，通过以太网连接并相互传输命令；

所述的网络文件系统服务器通过以太网与所述的客户端相互连接，根据客户端的访问请求提供相关数据信息；

所述数据迁移器接收迁移命令控制存储单元中的数据从原始存储位置迁移到目标位置；

所述多级存储管理数据服务器接收所述网络文件系统服务器的访问指令，控制所述数据迁移器进行对存储单元数据的迁移操作；

所述的在线存储区、近线存储区以及离线存储区通过存储区域网相互连接进行数据传输，所述的网络文件系统服务器、数据迁移器以及多级存储管理数据服务器也通过所述的存储区域网实现对存储单元的控制；

较佳的，所述的在线存储区为至少一磁盘阵列构成；

较佳的，所述的近线存储区为磁带库或光盘库；

较佳的，所述的离线存储区为离线磁带架或光盘架；

较佳的，还包括一作为缓冲池的低速磁盘阵列设置与所述在线存储区与近线存储区之间；

其次提供一种基于以太网的集群式多级存储管理方法，其是通过上述基于以太网的集群式多级存储管理系统实现的，其包括的步骤为：