[发明专利]一种集群存储系统内部的数据在线分级存储方法

摘要

本发明提供一种集群存储系统内部的数据在线分级存储方法，数据具有生命周期，不同时期尤其存在的不同意义，集群存储系统中存储着海量数据，但其中只有20%为关键数据，访问频率较高；而80%为非关键数据，访问频率低下，通常一个月甚至一年都不被访问，集群存储系中存放着海量的数据，针对数据具有生命周期的特点，根据数据的访问频率把数据分级存放，节省存储成本。本发明基于数据的生命周期，在集群存储系统内部创建性能不同的存储池，利用扫描软件和迁移软件实现集群存储系统内部的在线分级存储，不仅节省了存储成本，而且提高了系统整体性能。

主权项

一种集群存储系统内部的数据在线分级存储方法, 其特征在于根据数据的访问频率，把数据存放到不同性能的存储池，从而减少的存储成本，提高了系统的整体性能，方法包括：存储池模型、数据的扫描与迁移模型，其中：存储池模型：通过在集群文件系统内部创建存储池，实现数据的在线分级存储保证在数据迁移之后，只改变数据存放的存储池，并不改变数据的存放目录，从而实现对用户和应用的透明迁移；对于在线迁移，利用文件系统内部的锁机制有效屏蔽在文件迁移时保证数据一致性，与文件系统间数据迁移相比，文件系统内部的数据迁移速度要快很多；数据的扫描与迁移模型：给出了数据分级存储的详细方法，包括：设定扫描策略；设定基于多指标的数据迁移策略和回迁策略；基于扫描策略，并行扫描集群文件系统中的文件，获取文件信息和文件访问情况；监控高性能存储池的空间使用率，当使用率低于设定的高阈值时，将访问频率低的数据自动迁移到下一级存储池，直到使用率低于低阈值；执行迁移，利用多线程技术并行执行数据迁移操作和回迁操作，数据在线分级存储步骤如下：1）数据节点与后端存储通过光纤连接；数据节点，控制节点，客户端和分级存储服务器通过IB 交换机相连，设置好文件系统内部的LNET网络，把集群文件系统挂载到分级存储服务器上；2）使用集群文件系统的内部命令创建存储池；3）编写文件系统扫描模块，基于扫描策略扫描文件系统中的文件信息和文件访问情况，并把扫描到的信息更新到数据库中；4）编写存储池监控模块，实时检测存储池的使用率；5）编写数据迁移模块，基于迁移策略查询扫描数据库，确定满足迁移条件的文件列表，多线程执行数据迁移；6）编写数据回迁模块，基于回迁策略查询扫描数据库，确定满足回迁条件的文件列表，多线程执行数据回迁。