[发明专利]终端设备的性能评测方法、装置、电子设备及存储介质

权利要求书

1.一种终端设备的性能评测方法，其特征在于，包括：

接收用户的指令，以启动AI性能评测流程；

控制并执行每一种AI性能单项测试，并确定每一种所述AI性能单项测试的得分；

基于所有所述AI性能单项测试的得分，确定终端设备的AI性能综合得分，对所述终端设备的性能评估。

2.根据权利要求1所述的方法，其特征在于，每一种所述AI性能单项测试的执行过程包括：

加载用于所述AI性能单项测试的测试数据集；

将所述AI性能单项测试对应的AI神经网络模型从所述终端设备的存储系统加载到内存中，完成所述模型的初始化过程，并统计模型加载时间；

利用已经加载的所述模型来处理测试数据集中的多个测试数据，获得每个测试数据的测试输出结果信息以及所述终端设备的平均处理延迟数据；

将每个测试数据的测试输出结果信息与测试数据的真值进行对比，根据所述AI性能单项测试对应的准确率计算公式计算出所述终端设备的准确率测试结果；

根据所述AI模型加载时间、所述终端设备的平均处理延迟数据、以及所述终端设备的准确率测试结果，计算所述终端设备在所述AI性能单项测试中所获得的所述AI性能单项测试的得分。

3.根据权利要求2所述的方法，其特征在于，

所述AI性能单项测试的得分计算公式为：

S_i＝P_i+T_i*w_i

其中，S_i为所述终端设备在第i个所述AI性能单项测试的性能得分，P_i为所述终端设备的在第i个所述AI性能单项测试中的数据处理性能得分，T_i为所述终端设备在第i个所述AI性能单项测试中的模型加载性能得分，w_i第i个所述AI性能单项测试的得分比例权重；

所述数据处理性能得分的计算公式为：

其中，P_i为所述终端设备的在第i个所述AI性能单项测试中的数据处理性能得分，MAC_i为第i个所述AI性能单项测试中的AI神经网络模型中包含的乘积累加运算次数；L_i是所述终端设备在第i个所述AI性能单项测试中平均处理每单位数据的延迟数据；

模型加载性能得分计算公式为：

其中，T_i为所述终端设备在第i个所述AI性能单项测试中的模型加载性能得分，M_i为第i个所述AI性能单项测试中AI神经网络模型的模型参数量，即AI神经网络模型中模型权重的参数数据量；s_i为所述终端设备在第i个所述AI性能单项测试中完成AI神经网络模型加载以及模型初始化过程所花费的时间。

4.根据权利要求3所述的方法，其特征在于，

所述AI性能单项测试包括人脸识别测试、语音关键词识别测试、图像分类测试、物体识别测试、超分辨率测试、人体姿态识别测试以及语义分割测试中的任一种测试。

5.根据权利要求4所述的方法，其特征在于，

在所述AI性能单项测试包括人体姿态识别测试的情况下，人体姿态识别AI性能单项测试执行过程包括：

运行所述人体姿态识别AI性能单项测试，对人体的关键点作为姿态识别特征点进行识别，通过关键点相似度确定所述关键点的准确程度，评估所述终端设备的AI人体姿态识别能力。