[发明专利]基于海量数据分级存储系统的迁移管理方法

摘要

基于海量数据分级存储系统的迁移管理方法属于数据迁移领域，其特征在于：各前端主机上的并行文件系统客户代理软件实现对VFS访问的支持；元数据服务器负责执行增量扫描，迁移管理以及速率控制等操作，实现对海量数据分级存储系统中前端应用的性能保证。数据服务器按照性能高低划分为快速数据服务器和慢速数据服务器，对元数据服务器发来的增量扫描指令进行处理并返回扫描信息，同时执行元数据服务器发来的文件迁移命令。该方法根据负载情况对数据迁移过程进行调度，根据快速设备剩余空间情况进行主动降级，降低了迁移过程对前端应用的影响，提高了快速设备剩余空间比率，增强了海量数据分级存储系统的自管理性。

主权项

1.基于海量数据分级存储系统的迁移管理方法，其特征在于，依次含有以下步骤：步骤(1).初始化海量数据分级存储系统海量数据分级存储系统由下述各部分组成：前端主机，元数据服务器一台或多台，数据服务器多台；所述数据服务器按照性能高低划分为快速数据服务器和慢速数据服务器；快速数据服务器由数据服务节点和快速设备组成，快速设备通过总线连接到数据服务节点上；慢速数据服务器由数据服务节点和慢速设备组成，慢速设备通过总线连接到数据服务节点上；所述数据服务节点由数据服务模块，I/O记录模块和扫描处理模块等组成；在作为应用服务器的各种类型的前端主机上部署并行文件系统客户代理模块，以实现虚拟文件系统层VFS的各种文件操作；在元数据服务器上部署一组运行在Linux系统上的用户空间程序，其中包括：元数据服务模块，迁移管理模块和增量扫描模块，其中：元数据服务模块，通过网络通信层接收到并行文件系统客户代理模块发来的元数据访问指令后，提供以下执行元数据操作的接口：文件创建、文件删除、目录创建、目录删除、文件查找以及目录项管理、系统负载获取、所述文件系统统计信息，供通过网络通信层与并行文件系统客户代理模块通信用；迁移管理模块，对所有文件，维护一个文件访问表，该表采用哈系表结构，键值为文件的inode节点值；文件访问表内容包括：文件inode节点值，文件路径，文件被访问总次数，文件被访问总字节数和文件的位置；对在快速数据服务器上的文件，所述迁移管理模块维护一个最近最少被访问(Least Recently Used，LRU)列表，每个表项的内容包括：文件的inode节点值，指向该文件对应文件访问表中元素的指针，每当增量扫描模块得知某文件被访问之后，迁移管理模块将LRU表中该文件对应的表项移动到LRU表的表头，每当有文件从慢速数据服务器升级到快速数据服务器时，迁移管理模块都为该文件分配一个LRU表项，并放入LRU表的镖头，每当有文件从快速数据服务器降级到慢速数据服务器时，迁移管理模块都将该文件对应的LRU表项从LRU表中删除，并释放该表项占用的内存空间；同时，迁移管理模块维护两个有序队列：升级队列和降级队列，分别由升级线程和降级线程处理队列中的任务；主动降级模块，根据快速数据服务器剩余空间情况，定期从快速数据服务器上文件的LRU队列的队尾取出一个文件，放入降级队列中；增量扫描模块，在启动时创建增量扫描线程，每隔一个扫描周期，所述扫描线程向所有数据服务器发送增量扫描请求，获取数据服务器在该扫描周期内的被访问情况；在数据服务器上部署一组运行在Linux系统上的用户空间程序，其中包括：数据服务模块，I/O记录模块和扫描处理模块，其中：数据服务模块，通过网络通信层收到并行文件系统客户代理模块发来的数据访问指令后，提供以下执行数据操作的接口：数据文件创建、数据文件删除、读数据文件、写数据文件，供通过网络通信层与并行文件系统客户代理模块通信用；I/O记录模块，维护一个I/O访问记录表，表项内容包括：文件的inode节点值，文件大小，文件在本扫描周期内的被访问字节数，文件在本扫描周期内的被访问次数；数据服务器每收到一个I/O请求，I/O记录模块从中解析出被访问文件的inode节点值，并以该文件的inode节点值为键值查找I/O访问记录表；如果找到，将该文件对应I/O访问记录表中表项中的被访问次数增加1，被访问字节数增加本次I/O请求的大小；否则，创建一个新的I/O访问记录表项，将其inode节点值设为被访问文件的inode节点值，被访问次数初始化为1，被访问字节数初始化为本次I/O访问大小；扫描处理模块，收到元数据服务器发来的扫描请求之后，遍历I/O访问记录表，对其中的每个被访问文件，从本地文件系统中读取其对应数据文件的大小，并同增量扫描模块建立连接，按照扩展数据表示格式XDR将本周期内的被访问情况发送给所述元数据服务器的增量扫描模块；发送的被访问情况内容包括：I/O访问记录表，本扫描周期内访问文件的数目，本扫描周期内访问的总字节数，本扫描周期内执行迁移的文件总大小；步骤(2).由步骤(1)所述的并行文件系统依次按以下步骤执行海量数据分级存储系统的迁移管理方法：步骤(2.1).初始化元数据服务器和数据服务器：步骤(2.1.1).把配置文件分别读入元数据服务器和数据服务器；步骤(2.1.2).元数据服务器和数据服务器分别从该配置文件中读取各自的通信地址和服务端口，同时解析出inode节点分配表，根据文件的inode节点值将其映射到对应的数据服务器并存储；同时元数据服务器启动文件迁移模块中的升级线程、降级线程以及增量扫描模块中的文件扫描线程；元数据服务器初始化迁移管理模块维护的文件访问表；步骤(2.2).初始化并行文件系统客户代理模块：步骤(2.2.1).把配置文件读入该客户代理模块，步骤(2.2.2).获取元数据服务器的通信地址和服务端口，步骤(2.2.3).初始化该代理模块的高速缓存子系统，步骤(2.2.4).虚拟出子设备，供所述VFS子模块存入用户的VFS访问命令，并在处理完后将返回值写入，供VFS子模块调用；步骤(2.3).按以下步骤执行文件迁移管理：步骤(2.3.1).每当并行文件系统客户代理模块调用元数据服务器上的元数据服务模块创建新的文件，迁移管理模块都会在文件访问表中为该文件创建新的访问表项；步骤(2.3.2).每当并行文件系统客户代理模块调用数据服务器上的数据服务模块对文件进行访问时，I/O记录模块都会根据访问信息更新数据服务器上的I/O访问记录表，并更新本扫描周期内的访问记录变量；步骤(2.3.3).元数据服务器的增量扫描模块在每个扫描周期结束时向所有数据服务器发送增量扫描指令；步骤(2.3.4).数据服务器收到元数据服务器发来的增量扫描指令后，同元数据服务器建立连接，将本扫描周期内的访问信息返回给所述的增量扫描模块，同时清空I/O访问记录表和访问记录变量中的内容，以便统计下一个扫描周期内的访问信息；步骤(2.3.5).元数据服务器中的增量扫描模块将数据服务器返回的访问信息发送给迁移管理模块，迁移管理模块利用该信息更新文件访问表，如果被访问的文件位于快速数据服务器，那么迁移管理模块将该文件在LRU表中对应的表项移动到LRU表的表头；步骤(2.3.6).迁移管理模块对本周期内文件访问表被更新的文件进行迁移决策，如果文件的访问热度超过了预先设定的升级阈值，将其放入升级队列中，由升级线程处理；同时，如果文件访问表中记录的某个文件未访问时间大于预先设定的降级阈值，将其放入降级队列中，由降级线程处理；步骤(2.3.7).迁移管理模块对降级线程进行速率控制，它根据增量扫描模块扫描得到的本扫描周期内文件的访问热度，判断当前系统是否处于空闲状态，如果空闲，迁移管理模块通知降级线程，将降级队列中的降级候选文件执行降级操作；迁移管理模块对升级线程不进行速率控制，如果升级线程监测到升级队列中有升级任务，即将该任务从队列中取出，执行降级操作。