[发明专利]一种小文件存储效率的优化方法

权利要求书

1.一种小文件存储效率的优化方法，其特征在于其具体优化步骤为：

一、序列文件合并：所述序列文件是HDFS提供的一种二进制文件，在存储系统中，对二进制文件由小文件合并为大文件，以小文件的索引号为key、内容为value的形式进行合并，合并的同时实现基于数据块的压缩；

二、对小文件存储效率优化：

1）由存储系统为每个用户建立三种队列：第一种为序列文件队列SFQ，用于小文件的合并；第二种为序列文件操作队列SFOQ，用于对合并后小文件的操作；第三种为备用队列BQ，用于操作的小文件数超过第一种或第二种长度的情况；

2）用户将本地的文件上传至云存储服务器；

3）服务器开始对该文件的类型进行判断；

4）如果是小文件，将该文件的索引号放入SFQ中；

5）当SFQ满时，将发送“队列满”信号给控制器，而当定时器到定时点时，将发送“时间到”信号给控制器；

6）接收到“队列满”或者“时间到”信号后，控制器开始读取SFQ的相关信息；

7）对系统负载进行计算，并据此决定是否进行小文件的合并；

8）文件合并后完成小文件与大文件之间的映射。

2.根据权利要求1所述的一种小文件存储效率的优化方法，其特征在于：所述存储系统中采用多叉树的结构来构建文件索引，当用户将文件上传到存储系统后，系统会自动根据用户文件的组织形式建立对应的多叉树索引。

3.根据权利要求2所述的一种小文件存储效率的优化方法，其特征在于：所述步骤5）～步骤8）中的控制器的具体处理逻辑为：

当控制器接收到信号时，首先判断信号类型，如果是“队列满”信号，则调用系统负载预测算法计算系统负载：

如果得到的系统负载低于系统设定的阈值，则开始合并文件，并取消系统中的“时间到”信号；如果系统负载大于系统设定的阈值，则进一步判断BQ的数量：若BQ数量小于某个值，则新建BQ，将SFQ转移到BQ中并推迟合并操作，设定“时间到”信号，若BQ数量大于该某个值，则将BQ中的小文件进行合并，取消系统中的“时间到”信号；

如果接收到的是“时间到”信号，计算系统负载并判断是否大于系统设定的阈值：

若负载大于阈值，则推迟合并操作并设定“时间到”信号；若负载小于阈值，则合并BQ中的小文件，取消系统中的其他“时间到”信号。

4.根据权利要求1～3中任一所述的一种小文件存储效率的优化方法，其特征在于：所述系统负载预测算法是指基于层次分析法的算法：通过获取系统属性的历史信息，经过2次层次分析法分析，最终得到系统负载的预测值。

5.根据权利要求4所述的一种小文件存储效率的优化方法，其特征在于：所述系统负载预测算法的详细过程为：算法依据系统属性的重要性，将每个时刻的系统负载属性值经过层次分析法分析融合为单一的决策属性值，然后依据决策属性值的时间重要性，经过第二次层次分析法分析最终得到下一时刻的系统负载值。