[发明专利]一种基于HDFS的海量小文件处理方法

权利要求书

1.一种基于HDFS的海量小文件处理方法，其特征在于，具体步骤如下：

步骤1，根据设定的第一阈值，对服务器接收的上传文件进行筛选过滤；

步骤2，获取筛选过滤得到的小文件的文件名、文件长度及文件上传时间戳，通过安全散列算法SHA-1生成文件存储ID；

步骤3，利用Status标志位表示文件存储状态，其中，Status标志位共有0、1、2三种状态，分别表示缓冲区文件、HDFS中已同步文件和已删除文件；

步骤4，采用分布式无关系型数据库Hbase存储小文件的元数据，并将Hbase数据持久化在HDFS中；

步骤5，根据服务器内存大小，申请一定内存的缓冲区，建立上传队列，将文件缓存至缓冲区，若缓冲区中的文件大小已超过设定的第二阈值或将要上传的小文件大小超过剩余缓冲区，则将缓冲区中的小文件合并并且清空缓冲区；其中，小文件合并为：将缓冲区中的小文件合并成结构为<key,value>键值集合形式的Mapfile，即将每个小文件的文件名作为key值、文件内容字节流作为value值进行拼接；

步骤6，将步骤5中合并后的文件通过异步线程延时上传至HDFS。

2.根据权利要求1所述的一种基于HDFS的海量小文件处理方法，其特征在于，步骤1中筛选过滤得到的大文件通过Namenode分配文件存储块并存入HDFS，所述大文件的大小大于设定的第一阈值。

3.根据权利要求1所述的一种基于HDFS的海量小文件处理方法，其特征在于，步骤2中通过安全散列算法SHA-1生成文件存储ID，具体为：利用小文件文件名与上传时间戳进行字符串拼接，再对拼接得到的字符串使用安全散列算法SHA-1，从而生成小文件的存储ID。

4.根据权利要求1所述的一种基于HDFS的海量小文件处理方法，其特征在于，步骤4中采用分布式无关系型数据库Hbase存储小文件的元数据，具体为：以文件存储ID作为行键，建立Attr与Var两个列族，其中，列族Attr包括文件名、文件长度、文件存储ID、文件存储块四个列；列族Var包括文件状态标志位、文件更新时间两个列。

5.根据权利要求1所述的一种基于HDFS的海量小文件处理方法，其特征在于，步骤3中根据Status标志位的不同状态，对文件采用不同的读取方法，具体为：对标志位为0的文件直接进行本地IO，对标志位为1的文件通过Mapfile读取接口进行读取，对该标志位为2的文件不予以读取。

6.根据权利要求1所述的一种基于HDFS的海量小文件处理方法，其特征在于，利用Status标志位，实现文件的即时增删改，具体为：增加文件时将该文件的标志位置为0；删除文件时将该文件的标志位置为2；更新文件时，将旧文件标志位置为2，并将新文件标志位置为0。