[发明专利]一种软硬件结合的视觉深度学习模型推理加速方法

权利要求书

1.一种软硬件结合的视觉深度学习模型推理加速方法，其特征在于，包括以下步骤：

S1、根据视觉任务，训练原始深度学习模型；

S2、针对所有网络层，利用权值大小挑选不重要的滤波器；

S3、移除当前层不重要滤波器，判断剪枝前后模型精度；

S4、进行判断模型精度下降是否明显；

S5、机型判断是否所有层处理完毕；

S6、进行全局优化网络，计算模型精度；

S7、模型部署TensorRT多线程处理。

2.如权利要求1所述的一种软硬件结合的视觉深度学习模型推理加速方法，其特征在于，步骤S4中当判断模型精度有所下降，此时返回步骤S3，当当判断模型精度没有下降，进行局部微调当前层，进行步骤S5。

3.如权利要求2所述的一种软硬件结合的视觉深度学习模型推理加速方法，其特征在于，步骤S5中当判断所有层处理完毕，则进行步骤S6，当判断所有层未处理完毕，则返回步骤S3。

4.如权利要求1所述的一种软硬件结合的视觉深度学习模型推理加速方法，其特征在于，步骤S6中每当计算模型的精度扔超过设定的阈值，则返回步骤S2。

5.如权利要求4所述的一种软硬件结合的视觉深度学习模型推理加速方法，其特征在于，步骤S2中针对模型每一层，对于任何一个滤波器fⁱ，计算滤波器中所有权重绝对值之和，即wⁱ＝∑_k|w_k|，对该层网络所有的滤波器新权重wⁱ进行排序，选择值最小的m个滤波器。

6.如权利要求5所述的一种软硬件结合的视觉深度学习模型推理加速方法，其特征在于，将当前网络层中选择的m个滤波器以及对应生成的特征图裁剪，比较裁剪前后网络模型的精度差值，如果精度下降幅度超过一定阈值，说明该层权重对整个模型学习过程比较重要，则跳过该层，即本层不进行裁剪操作。