[发明专利]一种基于简化独立成分分析和局部相似性的立体匹配方法

说明书

本发明公开了一种基于简化独立成分分析和局部相似性的立体匹配方法，用于图像处理技术领域，该方法对DispNetC网络进行改进，首先提出了简化独立成分分析(ICA)代价聚合，引入匹配代价卷金字塔，简化ICA算法的预处理过程，同时定义简化ICA损失函数；其次，引入区域损失函数，结合单像素点损失函数，定义局部相似性损失函数，以完善视差图的空间结构；最后，简化ICA损失函数和局部相似性损失函数相结合，训练网络进行视差图预测，弥补视差图的边缘信息。本发明在保证视差图预测速度的同时，提高了视差图边缘以及细节部分的预测准确率，减少了在预测过程中对单像素点的依赖程度。

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于简化独立成分分析和局部相似性的立体匹配方法。

背景技术

立体匹配是立体视觉研究中的关键部分，在车辆的自动驾驶，3D模型重建，物体的检测与识别等方面有广泛的应用。立体匹配的目的是求出立体图像对中左右图像像素点之间的对应关系，以获得视差图。然而，立体匹配面临着很大的挑战，遇到遮挡、弱纹理、深度不连续等复杂场景，不易获取稠密且精细的视差图。因此，如何准确的从立体图对中获取密集视差，具有重大的研究意义。

传统的立体匹配方法匹配效果的好坏依赖于匹配代价的准确性，计算十分缓慢，十分依赖匹配窗口的合理性，对弱纹理区的处理效果不好，算法实现时收敛速度较慢。在传统的立体匹配算法中，采用手动的方法提取图像特征以及代价卷的设计，图像信息表达不全面，影响了后续步骤的实施，视差图精度受到影响。

发明内容

发明目的：针对在实际场景中现存的立体匹配网络在视差图的边缘，细节信息以及弱纹理区域的预测准确率较低问题，本发明提出一种基于简化独立成分分析(SICA)和局部相似性的立体匹配方法。该方法提高了视差图边缘以及细节部分的预测准确率，减少了在预测过程中对单像素点的依赖程度。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于简化独立成分分析和局部相似性的立体匹配方法，包括以下步骤：

步骤一，将双目相机拍摄的立体图像对输入DispNetC网络的卷积层，提取每个像素的特征，通过计算特征相关性构建初始匹配代价卷，完成初始匹配代价计算；

步骤二，将初始匹配代价卷输入DispNetC网络的编码-解码结构，进行简化独立成分分析匹配代价聚合，定义简化独立成分分析损失函数L_SICA，更新像素点的权值；

步骤三，聚合后的匹配代价卷输入解码结构的最后一层反卷积层，反卷积的结果即为视差图，构建局部相似性损失函数L_l，并结合简化独立成分分析损失函数L_SICA，得到总损失函数L；

步骤四，利用真实视差图和预测视差图以及定义的总损失函数L进行网络训练，更新网络参数，通过训练完成的网络预测得到全尺寸视差图。

进一步地，所述步骤一，实现从特征表达到像素点相似性衡量的转换，初始匹配代价计算方法如下：

通过DispNetC网络的卷积层提取立体图像对的特征，得到两张图像各自的特征图；将特征输入DispNetC网络的相关层，获取其在特征空间内对应位置的关系，获得初始匹配代价；通过DispNetC网络的相关层比较两个特征图各个块的关系，即计算各块之间的相关性，公式如下：

其中c(x₁,x₂)表示特征图的块的相关性，f₁和f₂分别表示两个特征图，x₁表示特征图f₁中以x₁为中心的一块，x₂表示特征图f₂中以x₂为中心的一块，k为图像块大小，d为图像位移范围，即视差搜索范围；