[发明专利]一种提高模型后处理速度的方法

说明书

本发明提供一种提高模型后处理速度的方法，所述方法对于检测模型的后处理部分采用通道重排，提高了CPU CACHE的命中率，减少了读取数据的时间，利用SIMD技术同时完成对8个数据点的计算，提高了计算效率，减少检测模型的后处理时间，从而提高检测模型的整体运行效率。

技术领域

本发明涉及卷积神经网络加速领域，特别涉及一种提高模型后处理速度的方法。

背景技术

随着计算机技术的快速发展，基于卷积神经网络的算法成功应用于各个识别领域。近年来，随着科技的飞速发展，大数据时代也已经到来。深度学习以深度神经网络(DNN)作为模型，在许多人工智能的关键领域取得了十分显著的成果，如图像识别、增强学习、语义分析等。卷积神经网络(CNN)作为一种典型的DNN结构，能有效提取出图像的隐层特征，并对图像进行准确分类，在近几年的图像识别和检测领域得到了广泛的应用。目前现有的技术都是通过依次遍历数据来进行相应的计算，从而完成获得最终的目标框。

现有技术中由于是通过依次遍历数据来进行相应的计算，基于预设anchor(锚点)的检测模型(yoloV3)最后一层卷积的通道分布一般为(x,y,w,h,confidence,pred_class)*anchores_num，在计算最终结果时，首先计算confidence的得分，如果大于预设的得分再计算相应的坐标，由于confidence(置信)的分布比较离散，所以计算时效率很低下，从而拖慢整个检测模型的效率。

此外，现有技术中常用的技术术语如下：

卷积神经网络(Convolutional Neural Networks,CNN)：是一类包含卷积计算且具有深度结构的前馈神经网络。

检测模型后处理：由于目前有的检测模型训练时，以真实的边框位置相对于预设边框的偏移来训练模型的，在推理模型时也需要根据预设的边框来求出预测的边框位置。

batch size(批尺寸)是卷积网络里的重要参数。

feature map：在每个卷积层，数据以三维形式存在。可以看成多个二维图片重叠在一起，其中每一个称为一个feature map。在输入层，如果是灰度图片，那就只有一个feature map；如果是彩色图片，一般就是3个feature map(红绿蓝)。层与层之间会有若干个卷积核(kernel)，上一层和每个feature map跟每个卷积核做卷积，都会产生下一层的一个feature map。

SIMD单指令流多数据流(SingleInstruction Multiple Data,SIMD)是一种采用一个控制器来控制多个处理器，同时对一组数据(又称“数据向量”)中的每一个分别执行相同的操作从而实现空间上的并行性的技术。

发明内容

为了解决现有技术中的问题，本发明的目的在于：为了提高检测模型后处理的效率，优化模型后处理计算的流程减少计算检测框的时间。解决现有方案中检测模型后处理对于系统资源利用不充分计算流程可优化的问题。

具体地，本发明提供一种提高模型后处理速度的方法，所述方法包括以下步骤：

S1,对于后处理部分做以下操作：

最后一层输出的结果是：[N,H,W,C]，其中N为batch size的大小，

H,W为FeatureMap的长宽，C为通道数，通道的分布为

[x,y,w,h,confidence,classess1,classess2]总共有9个通道，即9个anchors；

总共有9个anchors每个anchor的通道分布为

[x,y,w,h,confidence1,classess1,classess2],总共有7*9＝63个通道数；