[发明专利]一种提高模型后处理速度的方法

权利要求书

1.一种提高模型后处理速度的方法，其特征在于，所述方法包括以下步骤：

S1,对于后处理部分做以下操作：

最后一层输出的结果是：[N,H,W,C]，其中N为batch size的大小，H,W为FeatureMap的长宽，C为通道数，通道的分布为[x,y,w,h,confidence,classess1,classess2]总共有9个通道，即9个anchors；总共有9个anchors每个anchor的通道分布为[x,y,w,h,confidence1,classess1,classess2],总共有7*9＝63个通道数；

S2，进行通道重排，将S1后处理部分操作的最后一层中，将表示每一个数据点的每一个anchor的confidence的通道放在一起，使得最里面的循环的取数是连续的；每个anchor的通道分布为[x,y,w,h,confidence1,classess1,classess2]，将每个anchor的confidence取出来放到一起连续排列即[confidence1,confidence2...confidence9]；

S3，利用SIMD进行优化，通过统计最后一层卷积的输出得到规律，根据Sigmoid函数的特性，将原有sigmoid(confidence)与0.5的比较直接转化为confidence与0比较；又因为scale是大于0的，所以最终转化为confidence+bias与0比较；由于最后一层卷积的输出结果是用16bit保存的，所以能够同时比较8个confidence，如果8个confidence都小于0就直接跳过，当不满足时，再依次对这8个confidence做比较。

2.根据权利要求1所述的一种提高模型后处理速度的方法，其特征在于，所述的S1中由于检测模型的损失函数部分采用的YOLOV3的损失函数，所以对于后处理部分采用和YOLOV3损失函数相同的操作。

3.根据权利要求1或2所述的一种提高模型后处理速度的方法，其特征在于，所述的S1中最后一层输出的数据分布，每一个数据点的每一个anchor的confidence是不连续的，每一次运算都需要从内存中读取数据。

4.根据权利要求1所述的一种提高模型后处理速度的方法，其特征在于，所述的S1中，假设检测模型的输入图像的分辨率为1920x1080，模型的输出为240x135x63，降采样3次，每次stride为2，其中有240x135x9个数据需要与0.5比较。

5.根据权利要求4所述的一种提高模型后处理速度的方法，其特征在于，所述的S3中，所述的统计最后一层卷积的输出得到规律如下：

a)confidence小于0的数目占confidence总数的99.75％；

b)特征点的所有confidence都小于0的占总特征点的98.95％。

6.根据权利要求1所述的一种提高模型后处理速度的方法，其特征在于，所述方法，S3还进一步包括：由于总共有9个confidence，所以还需要额外的做一次判断。