[发明专利]一种HDFS海量小文件处理方法及系统

摘要

本发明提供了一种HDFS海量小文件处理方法及系统，均先判定所接收到的当前请求上传的文件是否为小文件，若是，则分别对当前请求上传的文件进行缓存，并计算上述当前已缓存的各请求上传的文件的大小之和、统计上述当前已缓存的各请求上传的文件的总数量，且通过比较上述当前计算出的大小之和与预设的第二阈值的大小关系、及比较上述当前统计出的总数量与预先设定的特定数量阈值的大小关系，在上述任意一比较关系成立时，合并当前已缓存的各请求上传的文件并创建当前已缓存的各请求上传的文件文件索引列表；之后均将当前合并后的文件及其对应文件索引列表上传至HDFS集群，然后清空上述已缓存的各请求上传的文件。本发明能提高HDFS对海量小文件的访问效率。

主权项

一种HDFS海量小文件处理方法，其特征在于，包括步骤：S1、接收文件上传请求，并判定当前请求上传的文件是否为小文件，所述的小文件为满足文件大小不超过预设的第一阈值的条件的文件；若上述判定结果为是，则执行步骤S3，否则执行步骤S2；S2、将当前请求上传的文件上传至HDFS集群；S3、对上述当前请求上传的文件进行缓存；之后执行步骤S4；S4、计算上述当前已缓存的各请求上传的文件的大小之和、以及统计上述当前已缓存的各请求上传的文件的总数量，并比较上述当前计算出的大小之和与预设的第二阈值的大小关系、且比较上述当前统计出的总数量与预先设定的特定数量阈值的大小关系；若上述比较的结果为上述当前计算出的大小之和大于或等于上述预设的第二阈值、或为上述统计出的总数量大于或等于预先设定的特定数量阈值，则执行步骤S5，否则继续执行步骤S1；其中，所述的第二阈值大于所述的第一阈值，所述的特定数量阈值为大于2的正整数；S5、将当前已缓存的各请求上传的文件合并成一大文件，并创建当前已缓存的各请求上传的文件在所述大文件中的文件索引列表；之后执行步骤S6；S6、将步骤S5中所述的大文件和文件索引列表，一并上传至HDFS集群；之后执行步骤S7；S7、清空上述已缓存的各请求上传的文件，之后转而继续执行步骤S1。