[发明专利]一种IO测试方法、装置、设备及介质

说明书

本发明公开了一种IO测试方法、装置、设备及介质。该方法的步骤包括：根据深度学习业务中目标学习对象的数据集的总量，以及各数据集中所包含的标本文件的内容特征，生成相同总量的具有相同内容特征各测试数据集；通过负载测试工具控制目标任务主机对各测试数据集进行IO操作，统计并生成相应的IO测试结果。本方法能够预先获悉任务主机在深度学习场景下执行深度学习任务过程的IO效率，相对确保了任务主机在实际业务场景下工作的稳定性。此外，本发明还提供一种IO测试装置、设备及介质，有益效果同上所述。

技术领域

本发明涉及人工智能领域，特别是涉及一种IO测试方法、装置、设备及介质。

背景技术

人工智能是当前新型的技术，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的科学技术。

机器学习是人工智能的核心，其目的是使计算机模拟或实现人类的学习行为，以此获取新的知识或技能，并在已有的知识结构上不断改善对于事物的整体认知能力。深度学习是机器学习中一种基于对数据进行特征学习的方法。深度学习的目标学习对象可以以标本文件的方式来表示，以一幅图像为例，标本文件的内容可以是图像中每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等，而使用某些特定方式表示目标学习对象更容易达到计算机提取并学习目标学习对象的特征的目的。

如图1所示的，是当前实现深度学习所通常采用的设备拓扑结构，图1中的文件主机用于生成或接收深度学习所需的标本文件，并将标本文件存储至存储设备；多台任务主机则用于根据深度学习任务，在存储设备中读取相应的目标标本文件，并根据预设的学习逻辑对目标标本文件进行处理，进而将最终的结果存储至存储设备。由于深度学习的目的是建立、模拟人脑进行分析学习的神经网络，进而模仿人脑的机制来解释如图像，声音和文本等类型的数据，因此实现深度学习时，任务主机需要对大量的标本文件进行“读取”“记忆”“识别”，对于大量标本文件的IO操作极易降低任务主机的工作稳定性，为了确保任务主机在实际业务场景下正常工作，技术人员需要预先获悉任务主机在执行深度学习任务过程中的IO效率。

由此可见，提供一种IO测试方法，以预先获悉任务主机在深度学习场景下执行深度学习任务过程的IO效率，确保任务主机在实际业务场景下工作的稳定性，是本领域技术人员亟待解决的问题。

发明内容

本发明的目的是提供一种IO测试方法、装置、设备及介质，以预先获悉任务主机在深度学习场景下执行深度学习任务过程的IO效率，确保任务主机在实际业务场景下工作的稳定性。

为解决上述技术问题，本发明提供一种IO测试方法，包括：

根据深度学习业务中目标学习对象的数据集的总量，以及各数据集中所包含的标本文件的内容特征，生成相同总量的具有相同内容特征各测试数据集；

通过负载测试工具控制目标任务主机对各测试数据集进行IO操作，统计并生成相应的IO测试结果。

优选的，内容特征具体为数据集中各标本文件的文件大小的取值分布。

优选的，目标任务主机的数量大于1；

相应的，通过负载测试工具控制目标任务主机对各测试数据集进行IO操作具体为：

通过负载测试工具控制各目标任务主机以并行的方式对各测试数据集进行IO操作。

优选的，在根据深度学习业务中目标学习对象的数据集的总量，以及各数据集中所包含的标本文件的内容特征，生成相同总量的具有相同内容特征各测试数据集之前，该方法进一步包括：

在目标文件主机中挂载目标存储设备的预设存储路径；

相应的，根据深度学习业务中目标学习对象的数据集的总量，以及各数据集中所包含的标本文件的内容特征，生成相同总量的具有相同内容特征各测试数据集具体为：