[发明专利]一种高效、低功耗的离线存储系统及方法

说明书

技术领域

本发明涉及计算机应用技术领域，适用于文件系统支持元数据集群的情况，能够在元数据集群范围内平衡负载，提高元数据集群处理数据的效率，具体地说，特别涉及一种高效、低功耗的离线存储系统及方法。

背景技术

随着数据量的日益增大，需要归档的数据也越来越多，某些应用场景下，每天可能会产生数TB的数据，而需要归档的数据也在TB级别。而目前的带库归档系统性能偏低，仅在MB/s级别，每天能够归档的数据量远远不能满足需求。

使用磁盘存储系统，尤其是利用Lustre集群文件系统，能够实现GB级的数据带宽和数百PB的系统容量，将磁盘介质的集群存储系统作为离线存储系统能够极大的提高归档效率。

Lustre集群文件系统是美国能源部开发的一种Linux集群并行文件系统。该系统已推出1.0的发布版本，是第一个基于对象存储设备的，开源的并行文件系统。可以说，Lustre 集群文件系统是目前开源社区中最成熟、应用最广泛的集群文件系统，通过聚合多个存储设备，利用Infiniband、万兆等高速网络技术，能够实现很高的聚合带宽，并具有很高的扩展性，能够支持EB级的系统容量扩展。

Lustre集群文件系统由客户端、两个数据管理节点设备池通过高速的以太网或QWS Net连接构成。数据管理节点设备包括MDS （Metadata Server）和MDT（Metadata Target）。其中，MDS存储了文件系统的基本信息，负责管理整个系统的命名空间，维护整个文件系统的目录结构、用户权限，并负责维护文件系统数据的一致性；MDT存储了MDS上元数据的文件名、目录、权限和文件布局。Lustre集群文件系统可以支持1000个客户端节点的 I/O 请求，两个MDS 采用共享存储设备的 Active-Standby方式的容错机制，存储设备跟普通的、基于块的集成驱动器电子装置IDE存储设备不同，是基于对象的智能存储设备。

Lustre集群文件系统的架构中，元数据处理节点与数据处理节点相互独立，元数据节点用于文件系统的命名空间管理，负责处理、保存和维护文件的元数据信息，例如文件名、文件属性等；数据节点负责实际数据的存储。实际的生产中，lustre集群文件系统的架构的数据处理节点OSS和数据存储节点OST通常是两个独立的设备，数据存储节点OST利用RAID等技术保证数据的安全性，例如磁盘阵列，而数据处理节点OSS通过高性能的网络提供高带宽。通常情况下一个数据处理节点OSS能够管理32个数据存储节点OST。

Lustre集群文件系统的文件元数据中包括一个重要的属性：文件条带布局，利用该属性用户可以指定或者查询到文件数据的实际存放位置，也就是文件数据所在的数据节点OST。

但是，相对于带库，磁盘介质在power on情况下的使用寿命要短很多，仅在1400天左右。在超出使用寿命后，磁盘的故障率会明显增加，从而导致数据的丢失，严重影响数据安全和设备正常使用。

为了解决这一问题，亟待提出一种新的基于Lustre集群存储系统特征的方法。以期在实现高效归档同时，实现低功耗，并极大延长磁盘使用寿命。

发明内容

本发明为了弥补现有技术的缺陷，提供了一种能够延长磁盘寿命的高效、低功耗的离线存储系统及方法。

本发明是通过如下技术方案实现的：

一种高效、低功耗的离线存储系统，采用Lustre集群文件系统，其特征在于：所述Lustre集群文件系统采用数据处理节点OSS与数据存储节点OST分离的架构，所述数据处理节点OSS与数据存储节点OST以主备模式共享后端存储空间，每对数据处理节点OSS以双活模式共享一部分数据存储节点OST，以实现系统的高可用HA；采用数据管理节点监控系统中数据存储节点OST的容量占用率，并对数据存储节点OST进行上电和下电操作，所述数据管理节点设备包括MDS和MDT。

本发明高效、低功耗的离线存储方法，其特征在于：所述离线存储系统使用时，每对数据处理节点OSS只有2个数据存储节点OST上电，其他磁盘阵列下电，数据管理节点处于常上电状态；利用lustre集群文件系统的条带设置指令，将归档数据定位到上电的数据存储节点OST中；数据管理节点监控到正在使用的数据存储节点OST系统容量使用完时，对下一组数据存储节点OST进行上电操作，并将归档操作利用lustre集群文件系统的条带设置指令定位到新上电的数据存储节点OST上，然后对容量使用完的存储节点OST进行下电操作。