[发明专利]一种服务器数据处理性能测试方法与装置

说明书

本发明公开了一种基于深度学习模型的服务器数据处理性能测试方法与装置，包括：根据服务器的硬件配置搭建软件环境；基于软件环境安装深度学习框架；设置测试数据处理性能所使用的测试参数；使用深度学习框架基于测试参数测试服务器的数据处理性能；生成并返回测试结果。本发明的技术方案能够使用深度学习框架针对不同服务器或不同类型的服务器进行自动化的数据处理性能测试，提高工作效率并解放人工。

技术领域

本发明涉及测试领域，并且更具体地，特别是涉及一种基于深度学习模型的服务器数据处理性能测试方法与装置。

背景技术

AI服务器的自动化测试可以检测服务器本身硬件搭配是否正常和数据处理性能是否达标。目前，AI已近逐渐渗透到各行各业，AI算法的实现和落地依赖于大数据、大模型和强大的计算力，而强大的算力支持至关重要。AI计算平台深度学习模型训练和推理的基准性能测试，是衡量AI服务器计算能力的主要参考指标。

由于传统的服务器测试方法与目前AI服务器性能测试的关注点不同，AI计算平台的性能测试需要新的测试工具和方法。目前，AI计算平台深度学习模型的基准性能测试的一般做法是根据服务器硬件配置特别是GPU型号的不同，手工配置深度学习基础环境以及深度学习框架。在配置几十台甚至上百台服务器的过程中，存在深度学习基础环境和框架重复安装、容易出错、耗时费力等缺点，消耗人力资源。AI计算平台的TensorFlow等深度学习框架基准性能测试、测试结果的分析整理也需要手工进行，不仅工作量大，而且同样存在费时费力的问题。

针对现有技术中数据处理性能测试依赖人工、效率低下的问题，目前尚未有有效的解决方案。

发明内容

有鉴于此，本发明实施例的目的在于提出一种基于深度学习模型的服务器数据处理性能测试方法与装置，能够使用深度学习框架针对不同服务器或不同类型的服务器进行自动化的数据处理性能测试，提高工作效率并解放人工。

基于上述目的，本发明实施例的一方面提供了一种基于深度学习模型的服务器数据处理性能测试方法，包括以下步骤：

根据服务器的硬件配置搭建软件环境；

基于软件环境安装深度学习框架；

设置测试数据处理性能所使用的测试参数；

使用深度学习框架基于测试参数测试服务器的数据处理性能；

生成并返回测试结果。

在一些实施方式中，根据服务器的硬件配置搭建软件环境包括：

根据服务器的图形处理单元安装对应的图形处理单元驱动；

根据服务器的图形处理设备安装对应的计算设备构架；

根据服务器的图形处理设备为计算设备构架安装对应的计算设备构架神经网络库；

根据计算设备构架神经网络库安装对应的依赖库。

在一些实施方式中，搭建软件环境时，图形处理器驱动、计算设备构架、计算设备构架神经网络库、依赖库按照前述顺序而依次被安装；使用自动化脚本搭建软件环境，其中每一个在安装完成时由自动化脚本检测版本匹配情况，在自动化脚本确认版本匹配后依次安装下一个。

在一些实施方式中，测试服务器的数据处理性能包括：图形处理单元与硬盘、CPU、内存、主板之间的协作数据处理性能和处理速度，和图形处理单元驱动与深度学习框架、计算设备构架、计算设备构架神经网络库、依赖库之间的协作数据处理性能和处理速度。

在一些实施方式中，设置测试数据处理性能所使用的测试参数，包括以下至少之一：训练次数、数据输入地址、训练强度、数据输出地址、训练模型、调用硬件、优化器、梯度规约、参数更新。