[发明专利]一种基于弹性存储的I/O模式分析方法、装置及存储介质

说明书

本发明公开了一种基于弹性存储的I/O模式分析方法、装置及存储介质，该方法包括：在存储后端捕获内核I/O模式；对I/O模式进行分析抽象，得到分析结果；将捕获的I/O模式和分析结果导入新存储场景进行重建与回放。通过实施本发明，从最底层截获I/O模式，解决了现有的追踪技术无法检测非文件业务的问题。同时，该分析方法提出了提取－分析－重新注入的完整系统性设计，结合当前热门的模式匹配与大数据分析预测技术，使传统技术在新兴的云计算场景发挥更大效能。此外，通过该分析方法，可以在分布式存储场景对云计算前端业务模式有更深地了解和对底层更针对性地优化，真正做到端到端的质量提升。

技术领域

本发明涉及分布式存储，操作系统内核、存储I/O栈及模式匹配预测技术领域，具体涉及一种基于弹性存储的I/O模式分析方法、装置及存储介质。

背景技术

自计算机问世以来，计算、存储、网络一直是其应用发展的三个主要方向。其中存储系统作为信息的载体，承担着数据持久化和提供高性能输入输出的重任。不同于计算、网络的字节访问模式，存储设备具有其天然的特殊性，例如512/4k字节的最小访问单元、性能随I/O模式而变化，以及近些年兴起的闪存型存储介质带来的写放大与有限介质寿命的特性等等。

为了提高存储系统对客户的友好程度，计算机软件提供了各种接口诸如文件、对象、块的抽象，以及为了改善存储性能和效率而在内核/用户态叠加的各种调度策略和软件扩展。这一系列软件方案在有效地提高存储的可靠性和可用性的同时，也极大地增加了软件结构和整个系统的复杂度。如图1所示为单机场景下一个标准的文件I/O从应用程序到达硬件存储介质所经历的各层级调用关系。

随着分布式技术的发展和云计算服务模式的逐渐兴起，存储也朝着高可用，高弹性，高性能的方向继续发展。但这也使得基于云架构的前端业务模式与后端底层的数据I/O模型不再一一对应。在以弹性存储为代表的分布式存储架构上，云上的客户端所发起的业务与物理存储系统的I/O模式可能天差地别。如图2所示云上客户端业务模型与底层物理节点的转换示意图。

这一巨大差异一方面使得从客户端角度设计的各种针对不同业务模式的优化方案，可能对底层不再有效。另一方面当这个庞大而复杂的系统发生偶发性问题时，很难在极小范围内稳定重现问题并分析定位。

发明内容

有鉴于此，本发明实施例提供了涉及一种基于弹性存储的I/O模式分析方法、装置及存储介质，以解决现有技术中从客户端设计的各种针对不同业务模式的优化方案，对底层不再有效的技术问题。

本发明提出的技术方案如下：

本发明实施例第一方面提供一种基于弹性存储的I/O模式分析方法，包括：在存储后端捕获内核I/O模式；对所述I/O模式进行分析抽象，得到分析结果；将捕获的I/O模式和分析结果导入新存储场景进行重建与回放。

可选地，在存储后端捕获内核I/O模式，包括：在存储后端基于内核追踪技术和工具捕获内核I/O模式；或者，在存储后端基于内核模块捕获内核I/O模式。

可选地，在存储后端基于内核模块捕获内核I/O模式，包括：监听内核块设备自身包含的预设事件；当I/O发送至底层硬件时捕获所述预设事件；将监听事件和捕获事件的操作录制得到捕获的内核I/O模式。

可选地，在存储后端基于内核模块捕获内核I/O模式，包括：在内核底层驱动的I/O发送加入转发机制的预设函数；当所述内核底层驱动接收到I/O请求时将捕获的内核I/O模式转发。

可选地，对所述I/O模式进行分析抽象，得到分析结果，包括：基于Markov预测模型对I/O模式的多个访问模式进行I/O模式特征提取和预测，得到分析结果，所述多个访问模式包括空间模式、重复行为、请求大小、时间间隔和I/O操作类型。

可选地，基于Markov预测模型对I/O模式的多个访问模式进行I/O模式特征提取和预测，包括：基于贪心策略算法、路径预测算法或者分摊预测算法进行预测。