[发明专利]终端人工智能性能基准测试方法及装置

说明书

本发明提供了一种终端人工智能性能基准测试方法及装置，该方法包括：识别终端适配的至少一种AI计算框架，将所述至少一种AI计算框架提供给用户；接收用户反馈的测试指令，测试指令包括用户从所述至少一种AI计算框架中选择的一种AI计算框架，以及用户指定的测试项；根据用户选择的AI计算框架确定待测试的神经网络模型，根据用户指定的测试项确定基准测试推理集；将神经网络模型和基准测试推理集组成基准测试例；在终端上使用用户选择的AI计算框架运行基准测试例，监测运行结果和测试过程中的终端硬件性能指标。本发明使终端能够自动识别检测适配的多个AI计算框架，监测终端硬件性能指标，从整机角度对终端人工智能性能进行评估。

技术领域

本发明涉及人工智能性能测试技术领域，特别涉及一种终端人工智能性能基准测试方法及装置。

背景技术

人工智能发展迅速，利用神经网络技术，通过大量数据的训练可以让电脑像人一样识别不同的物体和处理不同的问题。在终端侧，人工智能技术有着丰富的应用，最主要的领域是使用神经网络模型在终端侧进行推理，包括可以对图像进行分类，对图片中的物体边界进行分割，人脸识别等等。要在终端侧部署神经网络模型推断应用，需要AI计算框架的支持，AI计算框架向下能提供调度和使用包括CPU、GPU、DSP、NPU等人工智能计算所需的硬件资源，向上能支持转换工具优化过的神经网络模型。AI计算框架除了如TensorFlow Lite等通用开源框架外，各终端厂商也基于自身终端硬件特点开发出私有AI计算框架，如高通SNPE，华为HiAI等。不同的AI计算框架对神经网络模型支持程度各有差异，所以有必要基于不同的神经网络模型和AI计算框架对终端的人工智能性能进行基准测试，来评估终端人工智能性能。

目前对于基于神经网络模型的人工智能性能评测多基于芯片角度而非终端整机性能表现，在终端上部署测试环境后，输入神经网络模型和推理数据集，对芯片执行神经网络模型推理的能力进行测试。此方法的缺陷主要有：目前的测试方案只能测试终端上部署的一种AI计算框架，无法对终端支持的多种框架进行测试，如果需要更换模型和框架还需要重新编译相关测试程序。测试结果单一，且方式缺乏灵活性。

发明内容

本发明实施例提供了一种终端人工智能性能基准测试方法，用以根据用户选择实现对终端支持的至少一种AI计算框架的测试，改善测试结果的多样性和测试方式的灵活性，该方法包括：

识别终端适配的至少一种AI计算框架，将所述至少一种AI计算框架提供给用户；

接收用户反馈的测试指令，所述测试指令包括用户从所述至少一种AI计算框架中选择的一种AI计算框架，以及用户指定的测试项；

根据用户选择的AI计算框架确定待测试的神经网络模型，根据用户指定的测试项确定基准测试推理集；

将所述神经网络模型和基准测试推理集组成基准测试例；

在终端上使用用户选择的AI计算框架上运行所述基准测试例，监测所述基准测试例的运行结果和测试过程中的终端硬件性能指标。

本发明实施例也提供了一种终端人工智能性能基准测试装置，用以根据用户选择实现对终端支持的至少一种AI计算框架的测试，改善测试结果的多样性和灵活性，该装置包括：

识别模块，用于识别终端适配的至少一种AI计算框架，将所述至少一种AI计算框架提供给用户；

接收模块，用于接收用户反馈的测试指令，所述测试指令包括用户从所述至少一种AI计算框架中选择的一种AI计算框架，以及用户指定的测试项；

预处理模块，用于根据用户选择的AI计算框架确定待测试的神经网络模型，根据用户指定的测试项确定基准测试推理集；并将所述神经网络模型和基准测试推理集组成基准测试例；

监测模块，用于在终端上使用用户选择的AI计算框架运行所述基准测试例，监测所述基准测试例的运行结果和测试过程中的终端硬件性能指标。