[发明专利]一种软硬件结合的视觉深度学习模型推理加速方法

说明书

本发明公开了一种软硬件结合的视觉深度学习模型推理加速方法，包括：S1、根据视觉任务，训练原始深度学习模型；S2、针对所有网络层，利用权值大小挑选不重要的滤波器；S3、移除当前层不重要滤波器，判断剪枝前后模型精度；S4、进行判断模型精度下降是否明显；S5、机型判断是否所有层处理完毕；S6、进行全局优化网络，计算模型精度；S7、模型部署TensorRT多线程处理。根据本发明，能够运用在任何需要部署到边缘设备的视觉深度学习模型中，在基本保持模型推理精度的同时，有效提升模型的推理速度。

技术领域

本发明涉及深度学习的技术领域，特别涉及一种软硬件结合的视觉深度学习模型推理加速方法。

背景技术

深度学习是一种能让计算机自动学习模式特征的方法，它将特征学习融入到建立模型的过程中，从而减少了人为设计特征造成的算法局限性。与传统机器学习方法相比，深度网络模型往往有着精度高、灵活性强、适用面广等优点，随着实际业务规模的不断发展，为了保证一定程度的算法精度，模型训练时间不断增加，算法复杂度也不断增加，致使模型推理速度缓慢，这在实时性要求较高的场景中无疑是不可忽视的缺点。例如，在自动驾驶场景中，延迟的目标检测结果足以造成无法挽回的严重后果。

现有技术存在的主要问题有：

1.模型压缩方法复杂；

2.仅从模型轻量化考虑模型推理加速。

发明内容

针对现有技术中存在的不足之处，本发明的目的是提供一种软硬件结合的视觉深度学习模型推理加速方法，能够运用在任何需要部署到边缘设备的视觉深度学习模型中，在基本保持模型推理精度的同时，有效提升模型的推理速度。为了实现根据本发明的上述目的和其他优点，提供了一种软硬件结合的视觉深度学习模型推理加速方法，包括：

S1、根据视觉任务，训练原始深度学习模型；

S2、针对所有网络层，利用权值大小挑选不重要的滤波器；

S3、移除当前层不重要滤波器，判断剪枝前后模型精度；

S4、进行判断模型精度下降是否明显；

S5、机型判断是否所有层处理完毕；

S6、进行全局优化网络，计算模型精度；

S7、模型部署TensorRT多线程处理。

优选的，步骤S4中当判断模型精度有所下降，此时返回步骤S3，当当判断模型精度没有下降，进行局部微调当前层，进行步骤S5。

优选的，步骤S5中当判断所有层处理完毕，则进行步骤S6，当判断所有层未处理完毕，则返回步骤S3。

优选的，步骤S6中每当计算模型的精度扔超过设定的阈值，则返回步骤S2。

优选的，步骤S2中针对模型每一层，对于任何一个滤波器fⁱ，计算滤波器中所有权重绝对值之和，即wⁱ＝∑_k|w_k|，对该层网络所有的滤波器新权重wⁱ进行排序，选择值最小的m个滤波器。

优选的，将当前网络层中选择的m个滤波器以及对应生成的特征图裁剪，比较裁剪前后网络模型的精度差值，如果精度下降幅度超过一定阈值，说明该层权重对整个模型学习过程比较重要，则跳过该层，即本层不进行裁剪操作。