[发明专利]一种基于空洞卷积和级联代价卷的双目视觉立体匹配方法

说明书

本发明公开了一种基于空洞卷积和级联代价卷的双目视觉立体匹配方法，具体包括：先使用残差卷积神经网络对输入的左右立体图像进行特征提取得到特征图，分组空洞卷积金字塔池化模块GASPP在每组中设置连续扩张率的空洞卷积层，利用不同大小的扩张率对特征图提取像素的上下文信息，获取多尺度、稠密的特征信息，以此来减小空洞卷积中空洞部分造成的局部信息丢失，以更少的参数数量在多个尺度上鲁棒地分割目标，提高在病态区域匹配的鲁棒性。此外引入了裁剪的级联匹配代价卷，通过修改特征通道数以及利用其金字塔型阶段处理形式来减少内存和时间的消耗，加快训练的速度，加强了网络的实时性。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于空洞卷积和级联代价卷的双目视觉立体匹配方法。

背景技术

立体匹配是双目立体视觉技术中的核心算法，旨在通过寻找双目相机所获取的两张图像中同名点从而建立视差图，一个良好的立体匹配算法直接决定三维重建的效果，建立合适的立体匹配算法是提高基于双目立体视觉技术的三维物体识别效果的关键。最近的工作表明，立体图像对的视差估计可以制定为一个监督学习任务，由卷积神经网络来解决。目前，基于深度学习的立体匹配算法主要可以分为两类：端到端立体匹配算法和非端到端立体匹配算法。端到端的立体匹配算法无缝集成了用于联合优化的传统立体匹配中所有步骤，主要通过设计和监督网络来取得一个好的视差回归结果。输入的是立体图像对，输出的是稠密视差图。非端到端立体匹配是将传统方法与卷积神经网络进行结合，卷积神经网络被引入来代替传统立体管道中的一个或多个组件，该方法需进行后处理。深度学习的加入大大提高了视差回归的精度，较传统方法性能得到了提升。

目前，利用不同扩张率的空洞卷积是处理深度学习中目标比例变化问题的一种有效方法。该算法通过叠加不同扩张率的卷积来满足多尺度特征信息的要求。然而，由于空洞卷积的卷积核不连续，空洞卷积随着扩张率的增加而变得越来越无效，且存在参数数量多和空洞问题。稀疏的感受野和缺乏上下文信息造成在病态区域(遮挡区域、无纹理区域、图案重复区域等)，故难以找到可靠的对应点。例如目标遮挡区域图像中的像素被遮挡，就难以进行正确匹配。在图案重复区域和无纹理区域则存在很多潜在的关系，也会影响匹配的精度。除此之外立体匹配网络存在的主要问题是GPU占用大，训练时间较长。三维卷积的使用给内存和计算带来了很大负担，计算时间大大增加。