[发明专利]终端设备的性能评测方法、装置、电子设备及存储介质

说明书

本发明提出一种终端设备的性能评测方法、装置、电子设备及存储介质，所述方法包括：接收用户的指令，以启动AI性能评测流程；控制并执行每一种AI性能单项测试，并确定每一种所述AI性能单项测试的得分；基于所有所述AI性能单项测试的得分，确定终端设备的AI性能综合得分，对所述终端设备的性能评估。该方法通过多种AI性能单项测试对终端设备的AI性能进行评测，能够测试设备在处理这些不同AI应用时的实际性能，更全面的对终端设备的AI性能进行评估。

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种终端设备的性能评测方法、装置、电子设备及存储介质。

背景技术

现有的终端设备AI性能测试方法通常只对设备处理图像分类、目标识别等AI应用的平均延迟和准确率进行测试，并基于测试结果对设备的AI性能进行评估。然而现有方法只能测试终端设备运行一小部分AI应用的性能，AI技术还有很多其他的应用领域，因此，当前终端设备AI性能测试方法无法衡量终端设备在运行其他多种AI应用时的综合性能。除此之外，终端设备的AI模型加载性能也直接影响了用户使用AI应用时的用户体验，但当前的AI性能测试方法无法衡量终端设备的模型加载性能水平。另外，在对终端设备的AI性能进行打分评估时，当前的AI性能测试方法主要使用平均处理延迟和准确率这两种数据进行打分，在打分过程中忽略了AI神经网络模型本身的计算复杂度和AI模型的参数量，这就导致用户无法准确了解终端设备的AI性能。

发明内容

针对现有技术的不足，本发明提出一种终端设备的性能评测方法、装置、电子设备及存储介质，通过多种AI性能单项测试对终端设备的AI性能进行评测，能够测试设备在处理这些不同AI应用时的实际性能，更全面的对终端设备的AI性能进行评估。

为了实现上述目的，本发明一方面提供一种终端设备的性能评测方法，包括：

接收用户的指令，以启动AI性能评测流程；

控制并执行每一种AI性能单项测试，并确定每一种所述AI性能单项测试的得分；

基于所有所述AI性能单项测试的得分，确定终端设备的AI性能综合得分，对所述终端设备的性能评估。

可选的，每一种所述AI性能单项测试的执行过程包括：

加载用于所述AI性能单项测试的测试数据集；

将所述AI性能单项测试对应的AI神经网络模型从所述终端设备的存储系统加载到内存中，完成所述模型的初始化过程，并统计模型加载时间；

利用已经加载的所述模型来处理测试数据集中的多个测试数据，获得每个测试数据的测试输出结果信息以及所述终端设备的平均处理延迟数据；

将每个测试数据的测试输出结果信息与测试数据的真值进行对比，根据所述AI性能单项测试对应的准确率计算公式计算出所述终端设备的准确率测试结果；

根据所述AI模型加载时间、所述终端设备的平均处理延迟数据、以及所述终端设备的准确率测试结果，计算所述终端设备在所述AI性能单项测试中所获得的所述AI性能单项测试的得分。

可选的，所述AI性能单项测试的得分计算公式为：

S_i＝P_i+T_i*w_i

其中，S_i为所述终端设备在第i个所述AI性能单项测试的性能得分，P_i为所述终端设备的在第i个所述AI性能单项测试中的数据处理性能得分，T_i为所述终端设备在第i个所述AI性能单项测试中的模型加载性能得分，w_i第i个所述AI性能单项测试的得分比例权重；

所述数据处理性能得分的计算公式为：