[发明专利]并行文件系统中支持元数据I/O服务质量的性能需求描述和转换方法有效
申请号: | 201310156737.8 | 申请日: | 2013-04-28 |
公开(公告)号: | CN103226607B | 公开(公告)日: | 2017-04-26 |
发明(设计)人: | 肖利民;谢柯;李秀桥;霍志胜;阮利 | 申请(专利权)人: | 北京航空航天大学 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京金恒联合知识产权代理事务所11324 | 代理人: | 李强 |
地址: | 100191*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 并行 文件系统 支持 数据 服务质量 性能 需求 描述 转换 方法 | ||
1.一种并行文件系统中支持元数据I/O服务质量的性能需求描述和转换方法,通过两层的描述和转换,将上层负载级别的性能需求转换成了下层文件系统可理解的细粒度的性能需求指标,其特征在于:该方法包括以下步骤:
步骤一,客户端将负载的性能需求描述以及负载执行的历史信息每隔一定的时间段发送给控制器;
步骤二,控制器收集并且汇总收到的不同负载的性能需求以及执行情况信息,产生下一个阶段的平均时延需求和下一阶段的服务时间需求,并且将这些需求信息发送给客户端;
步骤三,客户端收到下一个阶段的平均时延需求以及下一阶段的服务时间需求信息;客户端通过对负载的元数据操作进行分析获得其子操作信息,并根据下一阶段的平均时延目标进一步产生子操作对应的时延需求。
2.根据权利要求1所述的一种并行文件系统中支持元数据I/O服务质量的性能需求描述和转换方法,其特征在于:步骤一中对于负载的性能需求描述采用负载执行过程中单位时间内平均完成操作的个数R和负载执行过程中所有操作的平均时延D作为负载的性能指标,同时使用负载标示符W区分不同的负载,使用优先级P表明不同负载的优先级,从而使一个负载的元数据I/O性能需求描述可以通过一个四元组<W,R,D,P>来唯一标示出来。
3.根据权利要求1所述的一种并行文件系统中支持元数据I/O服务质量的性能需求描述和转换方法,其特征在于:步骤二中控制器接收到客户端发送的负载性能需求信息和历史执行信息,控制器根据负载编号以及客户端编号,汇总属于同一负载的历史执行信息得到属于该负载的到目前为止已经完成的请求个数ReqNum、平均时延AverageD、平均吞吐量AverageR,负载编号W,同时将负载的性能需求信息存储起来,其中平均时延控制器以及服务时间控制器根据负载的性能需求目标以及历史执行信息计算出该负载下一个阶段的平均时延目标以及下一阶段的服务时间目标,
其中对于下一个阶段平均时延目标的确定过程如下:
(1)控制器每隔Tp时间间隔汇总一次客户端发来的负载的信息,其中包括所有活跃负载Wi的到目前为止已经完成的请求个数ReqNumi、平均时延AverageDi、平均吞吐量AverageRi,同时包括负载Wi的性能需求描述<Wi,Ri,Di,Pi>,
(2)为所有的负载分配下一阶段平均时延,分两种情况:
(a)如果第一次接受到负载Wi的信息,即负载Wi刚开始运行,那么NextDi=Di;
(b)根据能否通过调整下一阶段平均时延使负载的平均时延达到Di,即按照Delta=(AverageRi+ReqNumi)×Di-ReqNumi×AverageDi的取值,分为两种情况:
(b1)如果能够使平均时延达到Di,即Delta>0,那么下一阶段平均时延
(b2)如果不能够使平均时延达到Di,即Delta<0,将下一阶段的平均时延目标定为预先设定的一个较小的值MinorTime,
(3)将转化好的负载的下一阶段平均时延发送给客户端,
(4)如果所有的负载都执行完毕,则结束,否则的话,继续执行步骤(1),
对于下一阶段服务时间的转化的过程如下:
控制器每隔Tp时间间隔汇总一次客户端发来的负载的信息,其中包括所有活跃负载Wi的到目前为止已经完成的请求个数ReqNumi、平均时延AvergeDi、平均吞吐量AverageRi,同时包括负载Wi的性能需求描述<Wi,Ri,Di,Pi>,
对所有正在执行的负载预分配下一阶段的服务时间NextServiceT,如果负载Wi刚开始执行或者负载上一阶段的服务时间ServiceTi为0的情况,那么否则的话根据上一阶段的服务时间ServiceTi进行调整,得到
重新调整分配给各个负载的下一阶段的服务时间NextServiceT,按照分三种情况:
(a)如果Delta=0,说明为不同负载分配的时间恰好占满Tp的时间间隔,无需调整各负载的NextServiceT;
(b)如果Delta>0,说明与分配给各个负载的服务时间超过了时间间隔Tp,按照负载性能需求描述中的优先级从低到高的顺序,减少分配的服务时间,直到为所有负载分配的服务时间的总和等于Tp,即Delta=0;
(c)如果Delta<0,说明时间间隔Tp中仍有未分配的时间份额,那么将该时间份额按照不同负载的性能需求描述中R所占的比例分别分配给所有的负载,
将调整好的各个负载的下一阶段的服务时间NextServiceT发送给各个客户端,同时将为各个负载的NextServiceT保存在ServiceT中,
如果所有的负载都执行完毕,则结束,否则的话,继续执行步骤(1)。
4.根据权利要求1所述的一种并行文件系统中支持元数据I/O服务质量的性能需求描述和转换方法,其特征在于:步骤三中客户端将负载中的元数据I/O操作经过分析获得操作的子操作信息,子操作信息可以包括子操作的个数、子操作对应的数据量,子操作时延控制器进一步将收到的下一阶段的操作平均时延目标转换成不同子操作对应的时延目标,
确定子操作时延目标的过程如下:
(1)分析获得子操作的操作种类以及子操纵的编号j,以及该种类操作对应子操作个数m;
(2)确定子操作的时延目标,分为两种情况:
(a)如果该子操作是操作i的第一个子操作,那么该子操作的时延目标设为
(b)如果不是操作i的第一个子操作,那么需要获得该操作i的已经完成的子操作花费的时间,由于已经完成的子操作花费的时间可能大于该操作的时延目标Di,因此需要分两种情况:
(b1)如果已经完成的子操作花费的时间小于该操作的时延目标Di,那么该子操作的时延目标可以设为其中tij表示操作i第j个子操作实际花费的时间;
(b2)如果已经完成的子操作花费的时间大于等于该操作的时延目标Di,也就是说该操作的时延必定会大于Di,我们将后续的子操作的时延目标设为预先设定好的较小的值MinorTime。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京航空航天大学,未经北京航空航天大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201310156737.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:阈值电压器件的替换方法及装置
- 下一篇:一种用于爬取页面的方法和设备
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置