[发明专利]一种基于HDFS的高性能文件存储与管理系统

权利要求书

1.一种基于HDFS的高性能文件存储与管理系统，接收客户端上传的文件，并与HDFS集群进行数据交换，包括HDFS客户端，其特征在于，还包括文件预处理模块、文件合并模块和预取缓存模块，其中：

所述文件预处理模块接收客户端上传的文件并对上传的文件进行大小计算和类型判定，并创建该文件的元数据信息，根据上传的文件的大小分为小文件、中文件和大文件，小文件、中文件传入文件合并队列等待文件合并模块的读取，大文件直接存入HDFS集群；

所述文件合并模块读取文件合并队列中小文件或中文件，根据文件类型判断需要追加到的目标合并文件类型，若属于该合并文件的剩余容量大于等于小文件或中文件的大小，则启动合并操作任务并创建合并文件与小文件或中文件的映射关系，即二级索引，若该合并文件的剩余容量小于小文件或中文件的大小时则将当前合并文件和二级索引作为一个数据块存入HDFS集群中，同时创建一个新的且与该合并文件类型一致的合并文件，将文件合并队列中待合并文件写入新的合并文件中；合并文件存入HDFS集群中；

所述预取缓存模块将用户频繁访问的文件信息映射关系表加载到本地内存中，建立客户端与HDFS集群的DataNode的直接联系。

2.根据权利要求1所述的基于HDFS的高性能文件存储与管理系统，其特征在于，所述元数据信息包括文件名称name、文件类型type、文件大小size和创建日期time。

3.根据权利要求1所述的基于HDFS的高性能文件存储与管理系统，其特征在于，所述类型判定为根据文件扩展名类型对文件进行分类，具体为：

文件扩展名为BMP、GIF、JPG、PNG的文件的类型为IMAGE；

文件扩展名为AVI、MOV、ASF、RM、MPG的文件的类型为VIDEO；

文件扩展名为TXT、DOC、PDF、XLS的文件的类型为TXT、DOC、PDF、XLS；

文件扩展名为RAR、ZIP、ISO、MDF的文件的类型为COMFILE；

文件扩展名为EXE、HTML、MID、TMP的文件的类型为REST。

4.根据权利要求1所述的基于HDFS的高性能文件存储与管理系统，其特征在于，所述根据上传的文件的大小分为小文件、中文件和大文件，具体划分方式为：

大于等于4.3MB的为小文件，大于4.3MB小于等于32MB的为中文件，大于32MB的为大文件。

5.根据权利要求1所述的基于HDFS的高性能文件存储与管理系统，其特征在于，所述合并操作任务具体为：

小文件或中文件以字符数组的形式追加到合并文件末尾，并创建合并文件与小文件的映射关系，即二级索引，其内容包括文件名name，文件类型type，文件大小size、偏移量offset元数据信息。

6.根据权利要求1所述的基于HDFS的高性能文件存储与管理系统，其特征在于，所述预取缓存模块将用户频繁访问的文件信息映射关系加载到本地内存中，具体为：

在小文件的元数据信息中增加一个频率读取标记frequency，用户每发起一次文件的读取指令，相应文件的读取频率数+1，将读取频率最高的前10％的文件作为热点文件，直接将其文件映射关系加载到本地，用户访问热点文件时，可以不经过NameNode，首先在本地内存热点文件目录中根据一级索引找到存放该文件DataNode数据块的具体位置，再根据数据块中二级索引定位到小文件。

7.根据权利要求1所述的基于HDFS的高性能文件存储与管理系统，其特征在于，所述预取缓存模块定期进行热点文件目录的更新。