[发明专利]神经网络模型自动适配方法和装置

说明书

本发明提供一种神经网络模型自动适配方法和装置，该方法包括：获取神经网络模型参数以及目标平台参数；根据所述目标平台参数判断目标平台的类型；根据目标平台的类型选择对应的初步适配方案以及优化适配方案用到的损失函数；根据所述神经网络模型参数、所述初步适配方案以及所述损失函数建立方案优化模型并求解，得到最终适配方案；根据所述最终适配方案对所述神经网络模型进行适配优化得到适应所述目标平台的神经网络模型，其中，通过考虑硬件特性，将神经网络模型迁移到不同的硬件平台时，针对不同的平台对神经网络模型进行专门的自适应自动优化，减少人力成本，提高平台计算效率。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种神经网络模型自动适配方法和装置。

背景技术

人工智能技术在人类社会的发展中的作用日益凸显，其算力、存储的高要求对项目普及的制约也随之突出。为了完成“万物互联”的AIoT的愿景，人工智能算法需要脱离单一设备与单一算法的限制，依照不同设备、不同场景的特点在不同模式运行，不同模式如如精度高低、推理速度快慢、功耗限制高低等。由于端侧设备与云端设备的存储、算力不同，需要进行针对性的量化与剪枝。面对不同设备的不同计算架构，若是采取完全一致的计算方式，则会极大的影响特定平台上的计算效率以及实际应用效果，如嵌入式CPU计算全精度神经网络模型延时可达数秒。

发明内容

针对现有技术中的问题，本发明提供一种神经网络模型自动适配方法和装置、电子设备以及计算机可读存储介质，能够至少部分地解决现有技术中存在的问题。

为了实现上述目的，本发明采用如下技术方案：

第一方面，提供一种神经网络模型自动适配方法，包括：

获取神经网络模型参数以及目标平台参数；

根据所述目标平台参数判断目标平台的类型；

根据目标平台的类型选择对应的初步适配方案以及优化适配方案用到的损失函数；

根据所述神经网络模型参数、所述初步适配方案以及所述损失函数建立方案优化模型并求解，得到最终适配方案；

根据所述最终适配方案对所述神经网络模型进行适配优化得到适应所述目标平台的神经网络模型。

进一步地，所述根据所述神经网络模型参数、所述初步适配方案以及所述损失函数建立方案优化模型并求解，得到最终适配方案，包括：

根据所述神经网络模型参数、所述初步适配方案以及所述损失函数计算损失值；

根据所述损失值调整所述初步适配方案得到调整后的适配方案；

根据调整前的适配方案、调整后的适配方案以及所述损失函数计算损失值以对调整后的适配方案进行进一步调整，迭代计算损失值并调整方案，直至得到最优损失值，将最优损失值对应的适配方案作为最终适配方案。

进一步地，所述目标平台的类型为CPU，所述适配方案中的调整参数包括：剪枝率、量化比特数、缓存大小以及片上计算资源，所述损失函数主项为精度损失和推理速度。

进一步地，所述目标平台的类型为GPU，所述适配方案中的调整参数包括：剪枝率、量化比特数、显存大小、GPU并行加载模型数目以及显存利用率。

进一步地，所述目标平台的类型FPGA，所述适配方案中的调整参数包括：剪枝率、量化比特数、FPGA片上块存储大小以及对网络权重的分块方法。

进一步地，调整适配方案时基于强化学习技术进行。

第二方面，提供一种神经网络模型自动适配装置，包括：

参数获取模块，获取神经网络模型参数以及目标平台参数；

平台类型判断模块，根据所述目标平台参数判断目标平台的类型；