[发明专利]一种基于HDFS小文件写入和读取的方法

摘要

本发明涉及一种基于HDFS小文件写入和读取的方法，其特征在于，为每个用户都建立一个用户文件，每个用户文件都不同，用文件追加操作以流式的形式将小文件合并到这个用户文件中，并且还利用关系数据库为小文件建立索引记录小文件的偏移信息，小文件合并有效的解决文件格式的限制，还能将用户小文件随时追加到用户文件中避免先将文件缓存到服务器达到一定大小后再上传，产生的文件安全性问题，最后通过为小文件建立索引信息能够有效的提高文件的检索效率，同时当访问小于一个块的文件时将其请求转发到数据节点上处理减轻主服务器的压力提高文件传送效率。

主权项

一种基于HDFS小文件写入和读取的方法，其特征在于，包括以下两部分：（1）文件的写入Sw1：发送上传文件请求；Sw2: 获取待上传文件的大小，并将待上传文件的大小值与设置的阈值进行比较，若待上传文件的大小小于设置的阈值，则认为是小文件，判断用户文件是否存在，若不存在，执行步骤Sw3；若存在，跳转至步骤Sw4；Sw3：在HDFS集群中建立新的用户文件并且用户文件的名称与用户ID一一对应，则将小文件以追加写的方式追加到用户文件中，跳转到步骤Sw5；Sw4：判断小文件大小是否大于用户文件剩余空间的大小，若是，跳转到步骤Sw3，若否，则以追加写的方式将小文件追加到用户文件中；Sw5：将小文件的元数据信息存入到关系型数据库中，并建立查询索引；（2）文件的读取Sr1：发送读取文件请求；Sr2：获取文件的大小，并将文件的大小与设置的阈值进行比较，若文件的大小小于设置的阈值时，跳转至Sr4，当文件大于设定的阈值时执行步骤Sr3；Sr3：如果文件大于设定的阈值并且小于一个文件块的大小，将其请求转发到数据节点上，通过函数得到文件块的相关信息，直接由数据节点来向客户端传送数据；Sr4：读取文件的偏移值与大小，通过函数定位到小文件所在用户文件中的位置，根据元数据信息以流式的方式读取小文件。