[发明专利]一种基于存储介质类型和加权配额的存储资源管理方法

权利要求书

1.一种基于存储介质类型和加权配额的存储资源管理方法，其特征在于：包括用户空间文件系统的挂载和读写请求的分发两个步骤；

所述用户空间文件系统的挂载步骤如下：

(11)将多块固态硬盘和机械硬盘成对分别挂载于当前文件系统中；

(12)将每对固态硬盘和机械硬盘的挂载目录的访问封装到用户空间文件系统FUSE中，用户空间文件系统FUSE优先将访问重定向到固态硬盘目录中，当固态硬盘的存储空间不足时，使用近期最少使用算法(LRU)将固态硬盘中近期最少使用的文件置换到机械硬盘中；

(13)启动多个进程，运行步骤(12)中的用户空间文件系统，并将这多个进程提供的文件服务都挂载到Hadoop系统配置中的中间数据存储目录中，监听这些中间数据存储目录的读写请求；

所述读写请求的分发步骤如下：

(21)将步骤(13)中的多个进程从1开始进行顺序编号，检查这些进程所提供文件服务的剩余容量，将这多个剩余容量的值，记录为请求分发的权重比例数组W；

(22)当对于Hadoop集群中用户提交的计算任务产生读写请求时，将读写请求的路径名和文件名，以及步骤(21)中计算的权重比例数组W输入Weighting Jump算法，将输出的值作为进程编号，并将读写请求分发到步骤(21)中符合该编号的进程中，完成请求分发的操作；

所述步骤(12)中，使用近期最少使用算法(LRU)将固态硬盘中近期最少使用的文件置换到机械硬盘中的具体过程如下：

(31)当固态硬盘目录的空间不足并且置换算法使用的调度缓存队列不为空时，弹出缓存队列首部的文件路径；

(32)将步骤(31)的文件路径下的文件复制到机械硬盘目录中；

(33)删除固态硬盘目录下的该文件；

(34)在固态硬盘目录中建立该文件的符号链接，指向步骤(32)中的机械硬盘目录中的该文件；

所述步骤(22)中，Weighting Jump算法的具体实现如下：

(1)输入步骤(22)中的权重比例数组W、请求路径和文件名；

(2)将请求路径和文件名输入字符串哈希函数，哈希函数的输出是一个长整型；

(3)将步骤(2)中获得的长整型作为种子输入64位的线性同余随机数发生器；

(4)新建变量b为0，变量b为一个整数，代表本算法计算的进程编号，新建变量n，为步骤(21)中进程的数量；

(5)运行步骤(3)中的随机数发生器，随机数发生器的输出是一个随机数R；

(6)根据公式求出j的最大值，若j的值小于n，则将b的值更改为j；若j的值大于等于n，则维持b的值不变，公式中W_x为步骤(1)中权重比例数组W的第x项，而floor()函数表示求上确界；

(7)重复步骤(5)至步骤(6)直至b的值不再变化，输出变量b，变量b是输出的进程编号；在输入请求路径、文件名时，分发给编号为b的进程进行处理，将此次读写请求分发给编号为b的进程，从而完成请求分发步骤。

2.根据权利要求1所述的基于存储介质类型和加权配额的存储资源管理方法，其特征在于：所述步骤(12)中，固态硬盘目录和机械硬盘目录的访问封装采用FUSE库封装，对外实现POSIX接口的文件操作。

3.根据权利要求1所述的基于存储介质类型和加权配额的存储资源管理方法，其特征在于：所述步骤(12)中，将每对固态硬盘和机械硬盘的挂载目录的访问封装到用户空间文件系统FUSE中时，需要构建用户空间文件系统的逻辑视图，所述逻辑视图的构建是通过符号链接技术实现的，实现过程为：用户空间文件系统将固态硬盘目录作为逻辑视图，置换到机械硬盘目录中的文件以符号链接的形式存放到固态硬盘目录中，指向机械硬盘中的原文件，而置换到固态硬盘目录中的文件以原文件的形式存放到固态硬盘目录中。