[发明专利]一种用于视频图像处理的卷积神经网络加速方法

说明书

本发明涉及一种用于视频图像处理的卷积神经网络加速方法，包括以下步骤：S1：将用于视频图像处理的整个卷积神经网络分为第一阶段和第二阶段，第一阶段包括但不限于两个具有相同输入、计算量不同的子网络，将计算量较小的子网络作为快路径，将计算量较大的子网络作为慢路径；S2：令两条路径异步执行，并对快、慢路径进行视频处理的特征图进行更新；S3：通过包括但不限于拼接、求和、全连接等融合方式将两条路径的特征图进行融合，将融合的输出作为第二阶段的输入；S4：根据最终目标问题设计第二阶段模型，组成完整的网络模型，并对模型进行训练和部署。与现有技术相比，本发明具有加快神经网络的运行速度的同时保证精度的优点。

技术领域

本发明涉及计算机视觉技术领域，尤其是涉及一种用于视频图像处理的卷积神经网络加速方法。

背景技术

卷积神经网络(Convolutional Neural Network，CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。通常，参数量越多的卷积神经网络具有越强的学习能力，但其计算速度相应地变慢，大量的网络由于计算速度的限制，无法应用到对实时性要求较高的应用场合，如无人驾驶汽车。

基于表达变换的语义视频分割技术(NetWarp)，通过在网络中融合了视频帧间的光流等运动信息，提升了对标网络的语义分割精度。该方法将上一帧的神经网络的特征层表达经过变换与当前帧特征层的对应位置融合，只是简单的堆叠，且大多只有一条更新速率恒定的单一路径，主要目的是提升网络精度，但计算量较大且网络的运行速度较慢。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种用于视频图像处理的卷积神经网络加速方法。

本发明的目的可以通过以下技术方案来实现：

一种用于视频图像处理的卷积神经网络加速方法，包括以下步骤：

(一)、将用于视频图像处理的整个卷积神经网络分为用以编码视觉特征的第一阶段和用以解码特征获取输出的第二阶段，第一阶段包括但不限于两个具有相同输入、计算量不同的子网络，将计算量较小的子网络作为快路径，将计算量较大的子网络作为慢路径；

(二)、令两条路径异步执行，并对快、慢路径进行视频处理的特征图进行更新；

(三)、通过融合方式将两条路径输出的特征图进行融合，将融合的输出作为第二阶段的输入；

(四)、根据最终目标问题设计第二阶段模型，组成完整的网络模型，并对模型进行训练，完成最终的网络加速。

本发明方法提供了一种利用双路径异步执行的卷积神经网络加速结构，该结构为两阶段的划分方式，第一阶段用于编码视觉特征，第二阶段则用于解码特征以获得理想的输出。第二阶段的具体形式因需要解决问题的不同而不同，可以采用任何一种学习方法，例如目标分类、语义分割或目标检测。第一阶段包含具有相同输入但计算量具有显著区别的两条计算路径(快路径、慢路径)，两条路径异步执行，并通过一种融合方式进行融合，融合的输出作为第二阶段的输入。融合方式包括但不限于拼接方式、求和方式、全连接方式等。

优选地，在第一阶段中，使用的融合方式除快慢路径外，还可包括额外的输入信息，如快慢路径的两帧输入图像。融合方式包含额外的输入信息，即快慢两路径的输入图像，并利用这两张图像进行光流计算，得出慢路径所需要实现的几何变换过程，作用到慢路径。

第一阶段中融合的步骤包括：

(1)计算快慢两路径输入帧之间的光流信息；

(2)通过光流信息计算出两帧间的几何变换；

(3)对慢路径应用几何变换；

(4)将慢路径的特征层与快路径的特征层相连接。