[发明专利]一种对并行文件系统进行文件布局提取的方法和装置有效
申请号: | 201110003511.5 | 申请日: | 2011-01-10 |
公开(公告)号: | CN102164161A | 公开(公告)日: | 2011-08-24 |
发明(设计)人: | 舒继武;陆游游;易乐天 | 申请(专利权)人: | 清华大学 |
主分类号: | H04L29/08 | 分类号: | H04L29/08 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 苏培华 |
地址: | 100084*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 并行 文件系统 进行 文件 布局 提取 方法 装置 | ||
1.一种对并行文件系统进行文件布局提取的方法,其特征在于,所述方法包括:
应用层通过VFS向文件系统发出读写请求;
客户端检查读写请求的文件布局是否存在且有效:
若是,则使用缓存且有效的文件布局;
若否,则向元数据服务器(Meta Data Server,MDS)请求获取文件布局:
MDS接收到文件布局获取请求后,解析参数,获取请求文件的inode和文件对象;
MDS到元数据文件系统读取该文件的全部文件布局;
MDS遍历该文件的全部文件布局,将请求范围内的扩展段加入到文件布局返回结果中;
MDS将文件布局返回结果返回给客户端;
客户端根据返回的文件布局,将扩展段中的分配组地址映射到实际物理设备的地址,然后进行数据的读写,返回给应用层。
2.根据权利要求1所述的方法,其特征在于,所述方法在将请求范围内的扩展段加入到文件布局返回结果中之前,还包括:
判定扩展段有没有分配空间:
若扩展段没有分配空间,则向空闲空间管理模块申请空间,同时将该扩展段数据写入元数据文件系统,并加入文件布局返回结果中。
3.根据权利要求2所述的方法,其特征在于,所述方法在客户端根据返回的文件布局,将扩展段中的分配组地址映射到实际物理设备的地址,然后进行数据的读写,返回给应用层时,还包括:
客户端由用户显式请求或者定时刷回(pdflush线程)请求文件布局提交;
客户端提交已标记的待提交的扩展段,并传给MDS;
MDS接收到文件布局提交请求后,解析相应参数,查找提交文件的inode及文件对象;
MDS从元数据文件系统读取出该文件的全部文件布局;
MDS根据提交请求中扩展段的状态更新读取出的全部文件布局中扩展段的相应状态;
MDS将修改完成后的文件布局写回元数据文件系统,并将成功结果返回给客户端。
4.根据权利要求1所述的方法,其特征在于,所述方法在客户端进行数据的读写时,还包括:
对进行修改后的扩展段进行标记。
5.根据权利要求3所述的方法,其特征在于,所述方法在应用层通过VFS向文件系统发出读写请求之前,还包括:
元数据服务器根据用户空间传入的元数据设备构造参数选取元数据存储设备,并在其上建立专用的元数据文件系统;
元数据服务器根据用户空间传入的并行分配组的构造参数,扫描并查找到相应的共享块存储设备的物理设备,在该物理设备头部写入并行分配组标识信息,完成并行分配组(PAG)的添加,用于数据存储;
元数据服务器将新添加的并行分配组标识信息写入元数据文件系统的超级块中;
客户端与元数据服务器建立会话,并向元数据服务器请求获取并行文件系统的并行分配组列表;
客户端根据获得的并行分配组列表向元数据服务器请求获取每个并行分配组的信息,扫描并匹配到相应的共享块存储设备的物理设备,构建并行分配组的数据结构。
6.一种对并行文件系统进行文件布局提取的装置,其特征在于,所述装置包括:
第一处理模块,用于完成应用层通过VFS向文件系统发出读写请求;
判定模块,用于完成客户端检查读写请求的文件布局是否存在且有效:
第二处理模块,用于当判定模块判定为是时,使用缓存且有效的文件布局;
第三处理模块,用于当判定模块判定为否时,向元数据服务器(Meta DataServer,MDS)请求获取文件布局:
第四处理模块,用于完成MDS接收到文件布局获取请求后,解析参数,获取请求文件的inode和文件对象;
第五处理模块,用于完成MDS到元数据文件系统读取该文件的全部文件布局;
第六处理模块,用于完成MDS遍历该文件的全部文件布局,将请求范围内的扩展段加入到文件布局返回结果中;
第七处理模块,用于完成MDS将文件布局返回结果返回给客户端;
第八处理模块,用于完成客户端根据返回的文件布局,将扩展段中的分配组地址映射到实际物理设备的地址,然后进行数据的读写,返回给应用层。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201110003511.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:大容量网络电子存储装置
- 下一篇:带交流旁路单元的光伏并网逆变器