[发明专利]针对基于CNN的立体匹配算法的量化方法

说明书

本发明公开了一种针对基于CNN的立体匹配算法的量化方法，包括：在推理过程中，采用线性定点化的方式，将浮点形式的权重量化为整数值；单个卷积运算中，将量化后的输入特征图与量化后的权重进行整数运算，整数运算使用累加器进行乘积累加，累加器中引入了带量化的偏置加法，偏置项使用与权重相同的方式量化；累加器的输出进入激活层，激活层采用ReLU6()函数将最终输出控制在设定的范围内。该方法可以极大的减少存储量和浮点运算次数，从而为卷积神经网络部署在资源有限的嵌入式平台上做准备。

技术领域

本发明涉及立体视觉技术与深度学习领域，尤其涉及一种针对基于CNN的立体匹配算法的量化方法。

背景技术

立体视觉是计算机视觉领域中一个热门研究话题，并广泛应用于机器人导航、无人机、自动驾驶汽车、物体检测和识别等方面。双目立体视觉的目标是利用左右图像之间的视差，恢复出物体的深度信息。而立体匹配作为双目立体视觉中和核心步骤，其算法的精度对立体视觉系统的影响很大。立体匹配的目的就是计算出参考图像每个像素点的视差值d。其基本原理为给定一组经过校正的立体图像对，左图像中的像素点p(x,y)，在右图像上的对应匹配点为p’(x-d,y)，则该像素的深度就可以由fB/d计算而来，其中f为相机的焦距，B为左右相机光心之间的距离。早期的工作根据原始图像的信息(如像素强度、梯度等信息)来计算初始匹配代价，再通过窗口完成代价的聚合，最后在整个图像范围内根据聚合代价选择最优的视差。其又分为局部算法和全局匹配算法。

近年来，随着深度学习的急速发展，神经网络在计算机视觉领域发挥着日益重要的作用，其迅速应用于立体匹配领域，当前立体匹配领域精度最为先进的算法都使用到了卷积神经网络(Convolutional Neural Network，CNN)。Jure Zbontar和Yann Lecun首次将CNN应用在立体匹配算法中，通过设计一个深层的Siamese网络去计算匹配代价，然后利用一块9*9的图块，该网络被训练去学习预测图块之间的相似性，其算法的精度远高于传统的立体匹配算法。之后，Shaked和Wolf提出了一个高速网络去计算匹配代价和一个全局的视差网络来预测视差置信度得分。目前，用于预测整个视差图并且无需进行后处理的端到端的网络得到了极大的发展。Kendall等人提出了GC-Net网络，并使用了多尺度特征结合的三维卷积神经网络来调整匹配代价空间。最后通过视差回归获取高精度的视差图。Chang等人提出一个全新的金字塔立体匹配网络来获取不同尺度上的特征,并结合沙漏堆叠的三维卷积神经网络来更好地利用上下文信息，从而获得了非常精确的视差图。

基于CNN的端到端的立体匹配算法框架基本分为以下几个步骤，第一步通过卷积神经网络提取出左图和右图的特征图，根据视差的原理，将右视图获得的特征图向右平移，并与左视图生成的特征图融合在一起形成四维的代价空间，然后使用三维卷积神经网络对代价空间进行规整，最后通过视差回归输出精准的视差图。在整个算法中，CNN占据了绝大多数的计算量，而且在计算过程中，会产生大量的中间数据，这带来了对存储器、功率以及计算能力的大量需求，极大地限制了其在便携式设备中的应用。因此，有必要对网络模型进行压缩，同时减少对内存和计算能力的要求。

模型压缩的方法大致分为四个方案：参数修剪和共享、低秩分解、紧凑卷积滤波器和知识蒸馏。