[发明专利]一种基于智能分流的存储系统文件合并方法及装置

说明书

本发明属于存储技术领域，具体涉及一种基于智能分流的存储系统文件合并方法及装置。本发明在缓存池水位较高且数据池负载适中的情况下，将近期的前端业务压力与历史同期的前端业务压力进行相似度比较，在相似度较高的情况下再对历史同期的缓存池水位变化趋势进行预测，进而依据预测结果确定是否分流；在相似度较低的情况下再对当前的缓存池水位变化趋势进行预测，进而依据预测结果确定是否分流，防止系统性能瓶颈的出现，确保合并业务的顺利、流畅进行，即使采用更便宜的SATA SSD或SAS SSD也能达到NVMe SSD的性能，实现了有效降低成本。而且，在分流时依据设置的分流比例自动调节分流的带宽，保证了前端业务在大压力场景下时延的稳定性。

技术领域

本发明属于存储技术领域，具体涉及一种基于智能分流的存储系统文件合并方法及装置。

背景技术

在当前的各种分布式存储产品中，海量小文件的存储是业界的一个技术难题。主要的技术难点有三个：①海量小文件在存储过程中在存储介质上频繁的产生大量小IO，导致存储性能低下；②小文件在存储介质上占用的实际空间要比小文件本身大得多，造成存储空间浪费；③海量小文件保存之后的全文检索性能低下。

为解决前两个问题，业界各存储厂商都推出了自己的小文件合并方案。主流的方案都是在数据池前面增加一个基于SSD存储介质创建的缓存池(高性能，低容量)，数据在缓存池中做合并之后，再将数据迁移至基于HDD存储介质创建的数据池(低性能，大容量)。具体的实现主要有两类，分别是在线合并方案和离线合并方案。

在线合并方案的示意图如图1所示，可以简单总结为将小文件接收至存储系统后先在内存中做合并，然后将合并后的大文件写入缓存池中，然后在后台起一个异步任务，将大文件从缓存池中读出来，再写入数据池。

离线合并方案的示意图如图2所示，可以简单总结为按照小文件写入存储系统的先后顺序写入缓存池中，然后在后台起一个异步任务，将多个小文件从缓存池中读出来，在内存中合并成一个大文件之后，再写入数据池。

在线合并方案中，数据落在SSD存储介质上时，已经合并成大文件了，所以写性能好一些；而离线合并方案中，数据写入和合并过程中在SSD介质上产生多次写和多次读，所以写性能差。对比之下，在线合并方案比离线合并方案在性能上虽然有一定优势，但是，当缓存池容量较小、数据池容量较大的情况下，在SSD缓存介质总容量远小于HDD主存介质总容量的情况下，尤其是现在主流的分布式存储系统中多采用大容量硬盘、高密度服务器，SSD的总带宽一定比HDD总带宽小得多，缓存池能够提供的总体带宽有限，很容易成为整个系统的性能瓶颈，无法有效发挥硬件的性能，阻塞前端业务。

发明内容

本发明提供了一种基于智能分流的存储系统文件合并方法及装置，用以解决现有技术阻塞前端业务的问题。

为解决上述技术问题，本发明所包括的技术方案以及技术方案对应的有益效果如下：

本发明的一种基于智能分流的存储系统文件合并方法，包括如下步骤：

1)在有小文件需要被合并的情况下，获取缓存池水位和数据池负载，并判断缓存池水位是否超过水位阈值、以及数据池负载是否超过负载阈值；其中，所述数据池负载为数据池中的存储介质的利用率，所述缓存池水位为缓存池中脏数据的总容量/缓存池的总容量，所述脏数据为写入缓存池但还未迁移至数据池的数据；

2)在缓存池水位超过水位阈值且数据池负载没有超过负载阈值的情况下，获取近期的前端业务压力，并将近期的前端业务压力与历史同期的前端业务压力进行相似度比较：

若近期的前端业务压力与历史同期的前端业务压力之间的相似度小于或者等于相似度阈值，则基于近期的缓存池水位对当前的缓存池水位变化趋势进行预测，根据预测结果确定是进行分流处理还是进行不分流处理；