[发明专利]一种存储海量小文件分级优化的方法、系统及介质

说明书

本发明涉及一种存储海量小文件分级优化的方法、系统及介质，包括以下步骤：S1：进行写业务，写入小文件；S2：判断小文件是否符合聚合策略，不符合聚合策略不进行处理，符合聚合策略进入步骤S3；S3：小文件分级，使用频率小于预设值的小文件标记聚合特性，其余小文件不标记聚合特性；S4：分级迁移，未标记聚合特性的小文件普通迁移至SSD，标记聚合特性的小文件写入聚合文件迁移至HDD；S5：进行读业务，小文件按照普通方式读取，聚合文件需要从中读出数据并同步写到小文件后再用普通方式读取。采用分级+聚合的方式存储小文件，提高了磁盘利用率，提升海量小文件存储的整体性能。

技术领域

本发明属于小文件存储技术领域，具体涉及一种存储海量小文件分级优化的方法、系统及介质。

背景技术

随着云计算、移动互联网等技术的发展，数据呈现爆炸式增长的趋势，与数据对应的小文件也相应的增加，小文件通常大小在1MB以内，数量多，操作频繁，海量增加的小文件在硬盘中进行读写以及合理的存储是热门研究方向。

目前，海量存储数据中小文件大都以亿为单位，数十数百亿的海量小文件，若这数十数百亿的小文件按照普通的文件数据存储方式则会有几百亿个底层对象，当底层存储对象较高时，会对文件系统的性能、故障场景数据恢复以及磁盘利用率等有影响。单纯结合聚合方式进行小文件存储，能实现小文件高效存储，提高磁盘利用率，但频繁的读写或者删除操作会使得聚合数据对象下盘，进而不能达到理想的多个小文件的数据聚合在一个IO刷盘的状态，以上为现有技术的不足之处。

因此，针对现有技术中的上述缺陷，提供设计一种存储海量小文件分级优化的方法、系统及介质，以解决现有技术中存在的问题，是非常有必要的。

发明内容

本发明的目的在于，针对分布式存储海量小文件性能低、磁盘利用率低的问题，提供设计一种存储海量小文件分级优化的方法、系统及介质，采用分级+聚合的方式存储海量小文件，解决上述技术问题，提升分布式海量小文件存储的整体性能。

为实现上述目的，本发明给出以下技术方案：

第一方面，本发明提供一种存储海量小文件分级优化的方法，包括以下步骤：

S1：进行写业务，写入小文件；

S2：判断小文件是否符合聚合策略，不符合聚合策略不进行处理，符合聚合策略进入步骤S3；

S3：小文件分级，使用频率小于预设值的小文件标记聚合特性，其余小文件不标记聚合特性；

S4：分级迁移，未标记聚合特性的小文件普通迁移至固态硬盘(Solid StateDrive，简称SSD)，标记聚合特性的小文件写入聚合文件迁移至硬盘驱动器(Hard DiskDrive，简称HDD)；

S5：进行读业务，小文件按照普通方式读取，聚合文件需要从中读出数据并同步写到小文件后再用普通方式读取。

作为优选，所述步骤S4中写入聚合文件步骤如下：

S4.1：小文件写入聚合缓存；

S4.2：小文件都已写入聚合缓存或者写满聚合缓存后，聚合缓存数据刷入聚合对象和对象存储设备，小文件成功写入聚合文件；

S4.3：元数据服务器更新小文件的布局信息和聚合对象内部位置标记；

S4.4：删除小文件在老布局中的数据；

通过将小文件写入聚合文件，实现小文件的高效存储，提高磁盘利用率。

作为优选，所述步骤S4.2中写完对象存储设备后发生故障，则将聚合对象中数据清除；通过清除聚合对象中的数据进行异常处理，清除故障数据。