[发明专利]一种基于存储介质类型和加权配额的存储资源管理方法

摘要

本发明涉及一种基于存储介质类型和加权配额的存储资源管理方法，包括步骤：存储设备和用户空间文件系统的挂载和读写请求分发，其中读写请求分发采用的Weighting Jump算法引入了加权分配特性，具有较高的计算速度、无状态调度和极低的内存消耗，这种方法采用类似谷歌John Lamping和Eric Veach提出的依概率跳变的方法来实现。能够从概率的层面保证存储资源的分配服从设定的权重，最小化标准误，并且具有比原有Hadoop集群的资源管理系统Yarn中实现更低的时间复杂度和内存消耗。克服了之前资源管理系统Yarn中实现的磁盘资源分配算法轮询检索目录的低效性，具有可伸缩性，且在扩展时，能够依概率最小化原有数据的移动。

主权项

1.一种基于存储介质类型和加权配额的存储资源管理方法，其特征在于：包括用户空间文件系统的挂载和读写请求的分发两个步骤；/n所述用户空间文件系统的挂载步骤如下：/n(11)将多块固态硬盘和机械硬盘成对分别挂载于当前文件系统中；/n(12)将每对固态硬盘和机械硬盘的挂载目录的访问封装到用户空间文件系统FUSE中，用户空间文件系统FUSE优先将访问重定向到固态硬盘目录中，当固态硬盘的存储空间不足时，使用近期最少使用算法(LRU)将固态硬盘中近期最少使用的文件置换到机械硬盘中；/n(13)启动多个进程，运行步骤(12)中的用户空间文件系统，并将这多个进程提供的文件服务都挂载到Hadoop系统配置中的中间数据存储目录中，监听这些中间数据存储目录的读写请求；/n所述读写请求的分发步骤如下：/n(21)将步骤(13)中的多个进程从1开始进行顺序编号，检查这些进程所提供文件服务的剩余容量，将这多个剩余容量的值，记录为请求分发的权重比例数组W；/n(22)当对于Hadoop集群中用户提交的计算任务产生读写请求时，将读写请求的路径名和文件名，以及步骤(21)中计算的权重比例数组W输入Weighting Jump算法，将输出的值作为进程编号，并将读写请求分发到步骤(21)中符合该编号的进程中，完成请求分发的操作；/n所述步骤(12)中，使用近期最少使用算法(LRU)将固态硬盘中近期最少使用的文件置换到机械硬盘中的具体过程如下：/n(31)当固态硬盘目录的空间不足并且置换算法使用的调度缓存队列不为空时，弹出缓存队列首部的文件路径；/n(32)将步骤(31)的文件路径下的文件复制到机械硬盘目录中；/n(33)删除固态硬盘目录下的该文件；/n(34)在固态硬盘目录中建立该文件的符号链接，指向步骤(32)中的机械硬盘目录中的该文件；/n所述步骤(22)中，Weighting Jump算法的具体实现如下：/n(1)输入步骤(22)中的权重比例数组W、请求路径和文件名；/n(2)将请求路径和文件名输入字符串哈希函数，哈希函数的输出是一个长整型；/n(3)将步骤(2)中获得的长整型作为种子输入64位的线性同余随机数发生器；/n(4)新建变量b为0，变量b为一个整数，代表本算法计算的进程编号，新建变量n，为步骤(21)中进程的数量；/n(5)运行步骤(3)中的随机数发生器，随机数发生器的输出是一个随机数R；/n(6)根据公式