[发明专利]基于海量数据分级存储系统的迁移管理方法

说明书

技术领域

基于海量数据分级存储系统的迁移管理方法属于数据迁移领域，尤其涉及其中的增量扫描和速率控制领域。

背景技术

基于海量数据分级存储系统的迁移管理方法是指：在海量数据分级存储系统中，根据海量数据的访问规律对其进行数据分级，根据数据级别的变化和设备的使用情况在不同级别的存储子系统之间迁移数据，并对迁移任务进行管理以降低其对前端应用的影响。传统的分级存储系统中较少包含迁移管理和速率控制机制，如果慢速数据服务器上有文件被访问，即将其迁移到快速数据服务器中，没有考虑到迁移对前端应用的影响。同时，传统的分级存储系统对于降级缺乏自适应机制，如果快速数据服务器的磁盘空间已满或者其剩余空间低于某个阈值，才将快速数据服务器上的文件降级，造成系统的突发流量比较大，在磁盘剩余空间低于允许值时，如果要升级一个文件，必须要先从快速数据服务器上降级一个文件以腾出空闲存储空间，提高了升级代价。

本发明提出了一种新的基于海量数据分级存储系统的迁移管理方法，该方法通过增量扫描技术获取设备的访问情况，根据当前访问情况对后续访问情况进行预测以进行速率控制，同时根据磁盘的剩余空间自适应地进行主动降级操作，有效解决了上述问题。

发明内容

本发明的目的在于提供一种能全面满足网络服务和科学计算需要的基于海量数据分级存储系统的迁移管理方法，把迁移过程对前端应用的影响降到最低。本发明的重点在于元数据服务器中增量扫描模块和迁移管理模块的设计，以及数据服务器中扫描处理模块和I/O记录模块的设计。

本发明的特征在于：它是在由以下设备构成的海量分级存储系统中实现的，该系统含有：

各种类型的前端主机，即应用服务器，该前端主机的并行文件系统客户代理模块实现虚拟文件系统层(VFS)的各种文件操作以及从下述元数据服务器读取相应文件的元数据；

元数据服务器，有一台或多台，按照TCP/IP协议经以太网与上述各前端主机相连，把位于不同数据服务器上的数据文件组织成统一的并行文件系统视图，为上述各前端主机提供元数据操作服务，同时执行增量扫描，迁移管理以及速率控制等操作，实现对海量数据分级存储系统中的前端应用的性能保证；

数据服务器，有多台，按照性能高低划分为快速数据服务器和慢速数据服务器。快速数据服务器由数据服务节点和快速设备组成，快速设备通过总线连接到数据服务节点上；慢速数据服务器由数据服务节点和慢速设备组成，慢速设备通过总线连接到数据服务节点上。所述数据服务节点由数据服务模块，I/O记录模块和扫描处理模块等组成。数据服务器保存着每个文件分片后的数据文件，可以为前端主机提供文件I/O操作，记录I/O请求的访问情况，对元数据服务器发来的增量扫描指令进行处理并返回扫描信息，以及执行元数据服务器发来的文件迁移命令；

基于海量数据分级存储系统的迁移管理方法，其特征在于，依次含有以下步骤：

步骤(1).初始化海量数据分级存储系统

海量数据分级存储系统由下述各部分组成：前端主机，元数据服务器一台或多台，数据服务器多台；所述数据服务器按照性能高低划分为快速数据服务器和慢速数据服务器；快速数据服务器由数据服务节点和快速设备组成，快速设备通过总线连接到数据服务节点上；慢速数据服务器由数据服务节点和慢速设备组成，慢速设备通过总线连接到数据服务节点上；所述数据服务节点由数据服务模块，I/O记录模块和扫描处理模块等组成；

在作为应用服务器的各种类型的前端主机上部署并行文件系统客户代理模块，以实现虚拟文件系统层VFS的各种文件操作；

在元数据服务器上部署一组运行在Linux系统上的用户空间程序，其中包括：元数据服务模块，迁移管理模块和增量扫描模块，其中：

元数据服务模块，通过网络通信层接收到并行文件系统客户代理模块发来的元数据访问指令后，提供以下执行元数据操作的接口：文件创建、文件删除、目录创建、目录删除、文件查找以及目录项管理、系统负载获取、所述文件系统统计信息，供通过网络通信层与并行文件系统客户代理模块通信用；