[发明专利]评估模型性能的方法、装置、计算机设备及可读存储介质

说明书

本发明公开了一种评估模型性能的方法、装置、计算机设备及可读存储介质。该评估模型性能的方法包括：获取由多个候选混合精度模型的比特配置，组成的候选比特配置集合，从候选比特配置集合中分离出候选比特配置子集，测试并记录候选比特配置子集中每个比特配置的量化性能；根据浮点模型的层数，将浮点模型划分为多个浮点优化单元,并确定候选比特配置集合中所有比特配置对应的混合精度模型相对多个浮点优化单元的输出损失；根据量化性能和输出损失，对多个候选的混合精度模型的性能进行预测评估。本发明解决了直接对量化所需的候选模型进行测试时导致的计算资源耗费大及效率低下的问题。

技术领域

本申请涉及图像识别技术领域，具体而言，涉及一种评估模型性能的方法、装置、计算机设备及可读存储介质。

背景技术

人工智能主体框架自上而下可大致划分为：应用层、算法层、系统层、依赖层、设备层等五个层次，自上而下存在相互依赖关系，同时，往上偏向实际应用，往下偏向底层硬件。各阶层的作用介绍如下：1.应用层：通过分析需求，将问题定位到人工智能对应分支上。2.算法层：根据应用场景设计模型训练使用的策略，Loss函数，以及后续的压缩算法等。3.系统层：利用深度学习框架构建模型，训练构建好的模型、并进行计算图解析和模型压缩。4.依赖层：算法实现的语言或深度学习框架，利用设备对外接口和协议调用对应设备。5.设备层：由计算单元构成，为人工智能系统提供算力支持。

人工智能在图像解析领域，基于现有的神经网络实现对相关图像信息的识别时，如对车牌识别、光学字符识别OCR文字识别场景及行人检索场景，存在识别效率低、耗费时间长的问题，如对车牌识别的步骤主要是先定位图片中的牌照位置，然后把牌照中的字符分割出来，最后把分割好的字符进行识别，最终组成牌照号码，但基于现有的神经网络对牌照字符进行识别时，不能快速高效的完成识别任务。

对此，为提高图像识别效率，需要对神经网络做进一步的优化处理，在现有的神经网络训练中，如公开号为CN111406267A的中国发明专利，为了确定不同配置神经网络的架构的性能，从而找出最优的神经网络的架构，其利用数据和模型的实际性能表现为样本训练一个性能预测神经网络，但该技术性能预测神经网络参数多，充分训练该网络需要的训练样本多，训练时间长。

其次，现有技术在模型量化(模型量化指在模型计算过程中将浮点数表示的待量化数据和输入输出特征用定点值进行近似表示，达到提高运算速度和压缩模型的方法)阶段：神经网络(Neural Network，NN)进行训练或者在设备端进行前向推理时，需要进行大量的浮点float32(32位浮点数)乘加运算(Multiply-Accumulate Operation，MACs)，消耗了存储和计算资源。例如，将大小为224x224大小的图片输入经典深度卷积网络如VGG-16，ResNet-18，Inception v3模型时，待量化数据量Params(Mega，M)和浮点加乘MACs(Giga，G)运算次数如下表所示：