[发明专利]一种分布式文件系统有效
申请号: | 201410295985.5 | 申请日: | 2014-06-27 |
公开(公告)号: | CN104111804B | 公开(公告)日: | 2017-10-31 |
发明(设计)人: | 官全龙;胡舜;罗伟其;翁健 | 申请(专利权)人: | 暨南大学 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;H04L29/08 |
代理公司: | 广州粤高专利商标代理有限公司44102 | 代理人: | 禹小明,凌衍芬 |
地址: | 510632 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 文件系统 | ||
1.一种分布式文件系统,其特征在于,包括:
大文件存储服务器用于存储拆分后的大文件数据块,其中大文件为大于预设大小的文件;
大文件元数据管理服务器,用于存储大文件的元数据、存储大文件存储服务器上大文件数据块的映射信息、管理大文件的命名空间和处理用户的请求信息;
缓存服务器,用于存储小文件、小文件的元数据和缓存部分访问量大的大文件,其中,小文件为小于或等于预设大小的文件;
其中,缓存服务器用于连接用户,以接收用户请求、处理用户请求并返回请求结果给用户,在此过程中,当缓存服务器无法处理用户请求通常会将用户请求转发发给大文件元数据管理服务器进行请求处理,请求处理的结果也将通过缓存服务器返回给用户,此时缓存服务器不对用户请求和请求处理的结果做任何的处理,仅用作数据的转发装置。
2.根据权利要求1所述的分布式文件系统,其特征在于,所述大文件存储服务器包括若干台,大文件元数据管理服务器包括至少三台,缓存服务器包括至少三台。
3.根据权利要求2所述的分布式文件系统,其特征在于,至少三台大文件元数据管理服务器之间采用自适应、动态调整的方式存储大文件元数据和大文件存储服务器上大文件数据块的映射信息以及承担用户请求的处理任务;
至少三台缓存服务器之间采用自适应、动态调整方式存储数据和处理用户请求。
4.根据权利要求1所述的分布式文件系统,其特征在于,任何大文件元数据及大文件存储服务器上大文件数据块的映射信息存储在至少2台大文件元数据管理服务器上。
5.根据权利要求4所述的分布式文件系统,其特征在于,缓存服务器上设置有用于存储小文件元数据以及缓存服务器上所存储大文件的元数据的元数据保存区、用于存储小文件的小文件保存区以及用于缓存部分访问量大的大文件的大文件缓存区。
6.根据权利要求5所述的分布式文件系统,其特征在于,缓存服务器中设有计数器,用于实现大文件访问分类机制,具体实现过程为:当用户通过该缓存服务器请求读写某个大文件时,该大文件访问量加1;
设置访问量阀值;
访问量高于访问量阀值的大文件称为经常访问大文件;
缓存服务器对于经常访问大文件依据访问量从高到低进行排序。
7.根据权利要求6所述的分布式文件系统,其特征在于,缓存服务器中存储部分访问量大的大文件的存储方式为:
当缓存服务器的缓存区空间足够时,缓存服务器将新大文件直接添加到大文件缓存区并在元数据保存区中添加新的大文件的元数据;
当缓存服务器的大文件缓存区空间不足时,若缓存服务器需要添加一个新的用户经常访问的大文件,则将大文件缓存区中访问量最低的经常访问大文件删除直到空间足够,接着将新的大文件添加进大文件缓存区。
8.根据权利要求1至7任一项所述的分布式文件系统,其特征在于,所述缓存服务器以永久性方式保存小文件元数据,以日志形式永久存储小文件,以更新方式保存经常访问大文件元数据。
9.根据权利要求2所述的分布式文件系统,其特征在于,当其中一台大文件元数据管理服务器故障后,系统立刻引导用户请求到其他大文件元数据管理服务器进行处理,直到故障的大文件元数据管理服务器恢复正常;
当故障后恢复的大文件元数据管理服务器为空,则其他大文件元数据管理服务器与该大文件元数据管理服务器同步故障前与其相同的大文件元数据及大文件数据块映射信息。
10.根据权利要求2所述的分布式文件系统,其特征在于,当其中一台缓存服务器故障后,系统立刻引导用户请求到其他缓存服务器处理,直到故障的缓存服务器恢复正常;
若故障后恢复的缓存服务器为空,则其他缓存服务器与该缓存服务器同步故障前与该缓存服务器相同的小文件及小文件元数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于暨南大学,未经暨南大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410295985.5/1.html,转载请声明来源钻瓜专利网。