[发明专利]一种存储海量小文件分级优化的方法、系统及介质

权利要求书

1.一种存储海量小文件分级优化的方法，其特征在于，包括以下步骤：

S1：进行写业务，写入小文件；

S2：判断小文件是否符合聚合策略，不符合聚合策略不进行处理，符合聚合策略进入步骤S3；

S3：小文件分级，使用频率小于预设值的小文件标记聚合特性，其余小文件不标记聚合特性；

S4：分级迁移，未标记聚合特性的小文件普通迁移至SSD，标记聚合特性的小文件写入聚合文件后迁移至HDD；

S5：进行读业务，小文件按照普通方式读取，聚合文件需要从中读出数据并同步写到小文件后再用普通方式读取；

所述步骤S4中写入聚合文件步骤如下：

S4.1：小文件写入聚合缓存；

S4.2：小文件都已写入聚合缓存或者写满聚合缓存后，聚合缓存数据刷入聚合对象和对象存储设备，小文件成功写入聚合文件；

S4.3：元数据服务器更新小文件的布局信息和聚合对象内部位置标记；

S4.4：删除小文件在老布局中的数据。

2.根据权利要求1所述的一种存储海量小文件分级优化的方法，其特征在于，所述步骤S4.2中写完对象存储设备后发生故障，则将聚合对象中数据清除。

3.根据权利要求2所述的一种存储海量小文件分级优化的方法，其特征在于，所述步骤S4.3中更新小文件信息和聚合对象内部位置标记时发生故障，则利用uncomplete表把聚合对象中的数据清理掉。

4.根据权利要求3所述的一种存储海量小文件分级优化的方法，其特征在于，所述步骤S5中数据同步写到小文件后，元数据服务器更新小文件的布局信息并更新聚合对象内部位置标记，其中若更新布局和聚合对象内部位置标记时发生故障则uncomplete表把已经写到小文件的数据删掉。

5.根据权利要求4所述的一种存储海量小文件分级优化的方法，其特征在于，所述聚合文件最大容量为5120个小文件并且聚合文件最大限度为512M。

6.一种存储海量小文件分级优化的系统，其特征在于，包括：

小文件写入模块：在系统中写入小文件；

判断模块：判断小文件是否符合聚合策略，不符合聚合策略的小文件进入未处理模块，符合聚合策略的小文件进入分级模块；

分级模块：将使用频率小于预设值的小文件送入聚合迁移模块，其余小文件送入普通迁移模块；

普通迁移模块：将小文件进行普通迁移送入SSD；

聚合迁移模块：将小文件写入聚合文件后送入HDD；

小文件读取模块:对小文件按照普通方式读取；

聚合文件读取模块：从聚合文件中读取数据并同步写到小文件；

所述聚合迁移模块包括：

写入聚合缓存单元：将小文件写入聚合缓存；

写入聚合对象单元：将聚合缓存数据刷入聚合对象和对象存储设备，小文件成功写入聚合文件；

更新信息单元：发送指令给元数据服务器更新小文件的布局信息和聚合对象内部位置标记;

删除小文件单元：删除小文件在老布局中的数据。

7.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有指令，当其在计算机上运行时，使得计算机执行权利要求1-5中任一项所述方法。