[发明专利]一种应用程序I/O trace的生成方法

说明书

本发明属于计算机存储领域，具体公开了一种应用程序I/O trace的生成方法，包括：获取目标应用程序的部分真实I/O trace，将每个真实I/O trace转化为生成对抗网络的输入数据格式并进行噪声清洗，得到训练用I/O trace数据集；基于训练用I/O trace数据集，训练生成对抗网络，以生成目标应用程序的合成I/O trace；分别对训练用I/O trace数据集中每个I/O trace和每个合成I/O trace重放，根据两者重放性能评估每个合成I/O trace的准确性，筛选得到目标应用程序最终的I/O trace。本发明定义一个生成对抗网络架构来精准生成I/O trace，以能够在不影响具体应用程序运行的条件下收集大规模I/O trace，解决了依赖于源代码的收集技术的系统开销较大，影响原始应用程序的运行效率的问题。

技术领域

本发明属于计算机存储技术领域，更具体地，涉及一种应用程序I/O trace的生成方法。

背景技术

目前，随着高性能计算技术的快速发展，云存储与云计算技术的发展与日俱进，超级计算机也发挥着越来越重要的作用。然而受限于设备的发展、优化算法的复杂度以及多个软件组件的复杂交互行为，导致I/O性能的发展相对缓慢。因此，I/O性能已经成为众多高性能运算系统和并行大数据分析系统的性能瓶颈。大多数并行系统都是通过分析I/Otrace来查找系统I/O性能效率低下的根本原因。因此，高效获取大规模I/O trace的技术势在必行。

现有获取I/O trace的技术主要分为两大类：依赖于源代码获取和不依赖于源代码获取两种类型。依赖于源代码获取I/O trace的技术需要与原始应用程序一起运行，收集详细的I/O访问信息。这种技术的系统开销非常大，会影响到原始应用程序的运行效率，特别是对于大规模的高性能计算系统。不依赖于源代码获取I/O trace的技术主要包含ScalaIOExtrap，它是通过数学推导使用小规模的I/O trace来计算出大规模的I/O trace，用于生成同一工作负载下的不同规模的系统的trace。这种技术生成的trace局限于同一工作负载，并且使用数学推导的方式适用性、容错率较低。

发明内容

本发明提供一种应用程序I/O trace的生成方法，用以解决现有I/O trace获取方法中收集收集I/O trace开销较大而影响原始应用程序运行效率的技术问题。

本发明解决上述技术问题的技术方案如下：一种应用程序I/O trace的生成方法，包括：

获取目标应用程序的部分真实I/O trace，将每个真实I/O trace转化为生成对抗网络的输入数据格式并进行噪声清洗，得到训练用I/O trace数据集；

基于所述训练用I/O trace数据集，训练生成对抗网络，以生成所述目标应用程序的合成I/O trace；

分别对所述训练用I/O trace数据集中每个I/O trace和每个所述合成I/O trace重放，根据两者重放性能，评估每个合成I/O trace的准确性，以筛选得到目标应用程序最终的I/O trace。

本发明的有益效果是：本方法定义一个生成对抗网络架构来精准生成I/O trace，以能够在不影响具体应用程序运行的条件下收集大规模I/O trace。具体的，使用事先收集的少量的真实I/O trace训练生成对抗网络GAN架构，学习其内在特征，然后进行大规模的trace生成。解决了依赖于源代码的收集技术的系统开销较大，影响原始应用程序的运行效率的问题。其中，需要将I/O trace中的特征数据进行格式转化，以转化为生成对抗网络可以接收的类型。另外，在训练之前需要将I/O trace中不重要的特征值和异常值进行清除，以提高生成对抗网络训练效率，保证合成I/O trace的准确度。

上述技术方案的基础上，本发明还可以做如下改进。

进一步，将I/O trace作为时间序列数据，所述生成对抗网络的生成器为LSTM。