[发明专利]一种基于引导信息的立体匹配方法

说明书

一种基于引导信息的立体匹配方法，包括：图像输入：输入左右相机两幅图像，将左图像和右图像分别作为参考图像和目标图像；特征提取：使用卷积网络VGG对输入的两幅图像分别进行特征提取，获取不同尺度图像特征；提取边缘信息：使用HED网络对输入的两幅图像分别提取边缘特征图，获取边缘细节信息；视差注意力计算初始视差：提取到的不同尺度的特征与边缘信息融合后输入到视差注意力模块，生成视差注意力图，再回归到初始视差图；提取语义信息：特征提取的最后池化层得到的特征送入到DenseASPP网络提取语义特征图，获取语义信息；视差优化：语义特征图与初始视差图融合，利用语义信息进行视差优化得到最终视差图。

技术领域

本发明属于计算机视觉领域、深度学习技术领域，具体涉及一种基于引导信息的立体匹配方法。

背景技术

日常生活中获取的信息大部分是来自于视觉。人类通过位置不同的双目分别获取图像信息，大脑会将获得的两幅单目图像融合，判断出视野中物体的远近，即深度信息，从而形成立体场景。深度信息是许多计算机视觉应用中非常重要的一部分，如自动驾驶、机器人、增强现实、无人机、3D模型重建、物体检测和识别等等。

双目立体视觉正是通过模拟人类的视觉系统来处理现实场景。双目立体匹配便是从两张不同位置拍摄的同一场景图像中，寻找对应相匹配的像素点，从而求得对应像素的视差值，形成视差图，通过计算视差获取场景中物体的深度信息。

但是目前的双目立体匹配算法仍然无法在保持精度的同时保持较好的实时性，高精度的算法往往都是以牺牲计算复杂度换取的。因此，目前双目立体匹配技术的研究目标就是探索出一种高精度且计算复杂度低的立体匹配算法。虽然众多领域的专家、学者在立体匹配技术方面进行了长期的研究，取得了长足的进步，但实际匹配中仍存在一些难以解决的问题和难点。例如，立体场景中的遮挡、视差不连续区域和弱纹理区域等很难获得精度较高的匹配结果。

近年来，卷积神经网络技术广泛应用于前计算机视觉领域，基于卷积神经网络的双目立体匹配算法也取得了很好的成绩。通过卷积神经网络提取和处理图像特征具有较高的鲁棒性，能够有效克服图像场景中尺度不一致、遮挡及旋转等因素的影响。

而传统的立体匹配算法总结为四个步骤：匹配代价计算、代价聚合、视差计算和视差优化。大部分传统的算法均是手工精心挑选的特征，加上需要多阶段正则化函数，最终限制了这类传统方法的效果和进展。随着深度学习技术的快速发展，深度学习技术展示了其在特征学习上的强大能力，在各个计算机视觉任务上都取得了非常重大的突破和进展。同样地，基于深度学习的双目立体匹配算法相比一些传统的算法也取得了非常好效果。根据深度学习发展的历程，主要分为非端到端的深度学习算法和端到端的深度学习算法。

非端到端的深度学习将卷积神经网络与传统方法结合，将卷积神经网络应用于立体匹配过程中某一步骤。端到端网络解决立体匹配问题可以分为两种主要的方法。一种是早期的方法将深度估计描述为一个回归问题，使用单一的编码器-解码器，将左右图像叠加，并回归视差图。这些方法不需要显式的特征匹配模块，运行时速度很快。但是它们需要大量的训练数据，很难获得。另一种方法模仿传统的立体匹配步骤，将问题分解成由可微块组成的阶段，从而允许端到端的训练。

虽然基于深度学习的立体匹配方法的效果有了很大的提升，但仍然很难克服局部模糊问题，这是视差估计中常见的问题。这是因为在这些模糊区域上进行视差估计的匹配特征不足以指导模型寻求正确的收敛方向。可以通过利用更多的特征，如前景和背景的全局感知、相对于熟悉对象的已知大小的缩放以及个体的语义一致性，在模糊区域更好的实现特征匹配。视差估计中的这种模糊区域大多数位于给定一个大目标的中心区域，可以通过语义分割来处理。在无纹理的区域，复杂结构，小物体和边界附近找到正确的对应关系，而这些问题可以通过诸如边缘轮廓等信息来缓解。

发明内容

发明目的

本发明针对立体匹配边缘处的误差较大、遮挡、视差不连续及弱纹理的模糊区域的问题，结合很多算法中固定的最大视差超参数的问题，提出一种基于引导信息的立体匹配方法。