[发明专利]一种基于ZFS文件系统的缓存自适应调整方法及设备

说明书

本发明提出了一种基于ZFS文件系统的缓存自适应调整方法及设备，所述方法通过收集ZFS文件系统的运行指标并进行分析，在满足预设条件时自动为ZFS文件系统增加或移除缓存。本发明通过对运行指标进行事后分析，能更准确理解上层应用，从而提供更加准确的缓存策略。通过软件的方法代替人工决策，能持续分析运行指标，自适应地动态调整缓存策略，提高随机读取效率，以适应复杂多变的上层应用。此外，本发明支持并发处理多套ZFS文件系统缓存策略(仅受硬件条件及操作系统限制)，通过规划可管理全部的ZFS文件系统。

技术领域

本发明属于计算机领域，具体涉及ZFS(Zettabyte File System)文件系统以及运行ZFS软件的相关操作系统及硬件。

背景技术

ZFS在RAM物理内存中提供的读取缓存称为ARC(Adjustable ReplacementCache)，可以减少读取延迟。如果使用快速磁盘专门作为缓存设备，则称为L2ARC(level 2ARC)。ARC之外的读取数据会在L2ARC中缓存，由此提高随机读取性能。但是L2ARC同样需要RAM来运行。如果没有足够大的RAM来存放足够大的ARC，那么添加L2ARC不会提高性能。在大多数情况下，性能实际上还会有所下降，可能导致系统不稳定。

在以ZFS做文件系统/存储设备的方案中，需要具有相关技能的人员根据硬件条件、安装建议以及具体应用等多种因素，预先定制方案，才能定制出合适的缓存策略。现有方法存在以下问题：

1.容易误判：大多数情况下，基础软件安装工作要早于上层应用，此时只能对上层应用做出简单的预判，这可能因为与实际应用有差异而判断失误。

2.效率低：ZFS作为基础服务，可能会部署多台设备，涉及多个应用，如果全部由人工干预，其效率难以保障。而且随着上层应用的不断运行和变化，对缓存的需求也可能会发生变化。这就需要持续的采集运行指标并加以分析，才能适时的调整缓存策略，人工同样难以实现。

发明内容

发明目的：针对上述问题，本发明提出一种基于ZFS文件系统的缓存自适应调整方法及设备，可以降低ZFS文件系统的维护难度，并减少失误，提高生产效率。

技术方案：根据本发明的第一方面，提供一种基于ZFS文件系统的缓存自适应调整方法，包括以下步骤：

根据预设的采样时间间隔采集ZFS文件系统的运行指标，包括ZFS ARC占用内存的大小arcsz、最近使用的幻影读缓存的命中率mrug、最频繁使用的幻影读缓存的命中率mfug、L2ARC命中率l2hit；

比较指定时间段内mrug和/或mfug指标的N个采样值，按采样值由大到小的顺序选取前M个值，MN，获得第M个mrug和/或mfug指标值，当arcsz达到最大值且第M个mrug和/或mfug指标值高于预设的第一阈值时，为ZFS文件系统增加L2ARC；

比较指定时间段内l2hit指标的N'个采样值，按采样值由小到大的顺序选取前M'个值，M'N'，获得第M'个l2hit指标值，当arcsz低于最大值且第M'个l2hit指标值低于预设的第二阈值时，为ZFS文件系统移除L2ARC。

根据本发明的第二方面，提供一种基于ZFS文件系统的缓存自适应调整设备，包括：

指标监测模块，用于根据预设的采样时间间隔采集ZFS文件系统的运行指标，包括ZFS ARC占用内存的大小arcsz、最近使用的幻影读缓存的命中率mrug、最频繁使用的幻影读缓存的命中率mfug、L2ARC命中率l2hit；

采样值比较模块，用于比较指定时间段内mrug和/或mfug指标的N个采样值，按采样值由大到小的顺序选取前M个值，MN，获得第M个mrug和/或mfug指标值；以及比较指定时间段内l2hit指标的N'个采样值，按采样值由小到大的顺序选取前M'个值，M'N'，获得第M'个l2hit指标值；