[发明专利]一种基于卷积操作硬件加速的图像处理方法及系统

说明书

一种基于卷积操作硬件加速的图像处理方法，包括以下步骤：步骤1，对原网络的输出层进行修改，对输出矩阵进行新的卷积计算，把输出矩阵原有输出矩阵分出若干个分支；步骤2，分别对分支的种类进行组合，通过索引值获取其对应所有用于计算的相关参数；步骤3，获取置信度最高的前N个框的索引值，通过索引值提取其对应的分支，通过映射回到原图获取其对应的坐标，在通过非极大值抑制对代表框的坐标进行筛选，返回结果。本发明在任何平台上部署模型时，遇到数据的拆分、组合等操作时，可以让通过改变原有的部分CPU上运行较慢的数据拆分工作转化为GPU上使用卷积处理，来提升端对端的模型运算的速度。

技术领域

本发明属于图像处理技术领域，特别涉及一种基于卷积操作硬件加速的图像处理方法及系统。

背景技术

深度学习技术在目标检测领域得到了广泛应用，特别是在人脸识别、自动驾驶、医学检测等行业都取得突破。一个典型的目标检测网络模型推理过程如下：把一张图片送入网络，图片的数据经过层层的数据网络的的计算，最后模型会对输入的图片推理出一个结果。由此过程可以看出，模型是目标检测技术决策的核心。

在实际的生产过程中，需要对模型进行在设备上进行部署，一般由数据的前处理、模型的推理和后处理(推理结果的解析)这三部分完成图像数据的预测工作。例如在以tensorflow框架的目标检测模型的部署为例，首先需要对数据进行做预处理和归一化，把图片的数据类型转换成在网络模型中流通的数据类型，这部分一般会部署在cpu上运行。处理好的数据会送入网络模型中进行推理，对于目标检测任务一般返回的是每一个框的中心点坐标及其对应的宽高、框内目标的前景置信度和每一个类别的概率值，这一部分一般在gpu中运行且速度较快。返回的结果是将目标类型，目标置信度，目标位置等信息堆在一起的输出矩阵多维输出矩阵，后面需要经过拆分、变换和映射等后处理操作才能提取最终的检测结果。

在后处理中，首先是拆分操作，该部分计算在GPU中运行需要对合在一起的多维输出矩阵的结果进行拆分便于后续的处理，比如拆分出框的中心点和宽高以及前景的置信度，中心点和宽高根据其对应的多维输出矩阵的尺寸推算其缩放的比例来映射到原图片中，前景置信度用于进行筛除不重要的框。可以看出后处理部分的拆分操作是必不可少且非常重要，然而返回的多维输出矩阵的数据量的巨大而且拆分不是顺序拆分，同时该部分操作在CPU上运行，因此操作非常的耗时。整套检测完成耗时过长，无法满足实时、高速的识别需求。

发明内容

本发明的目的在于提供一种基于卷积操作硬件加速的图像处理方法及系统，以解决上述问题。

为实现上述目的，本发明采用以下技术方案：

一种基于卷积操作硬件加速的图像处理方法，包括以下步骤：

步骤1，对神经网络的第一输出矩阵进行卷积计算，把不同通道内的同类别输出结果提取到第二输出矩阵中，该第二输出矩阵包含不少于2个分支，每个分支包含同一类别的输出结果；

步骤2，对所述第二输出矩阵其中的第一分支输出结果的内容进行筛选并获取一个索引值，通过该索引值获取该第二输出矩阵中其他一个或者多个分支的输出结果，与该第一分支的输出结果拼接，构成合并的输出结果。

以上2步骤在GPU中运行。

进一步的，步骤2中，所述的多个分支的输出结果进行拼接得到最终的合并的输出结果，选择哪些分支进行拼接由系统预先配置或者系统实时输入。

进一步的，步骤1中，对第一矩阵采用1x1的卷积操作。

进一步的，步骤2中，对第一分支输出结果的内容进行筛选，使用参数的大小，参数之和，参数的方差进行筛选，并最终获取索引值，所述索引值能够提取其他分支中对应的输出结果；