[发明专利]一种利用条件生成对抗网络计算视差的方法

说明书

本发明公开了一种利用条件生成对抗网络计算视差的方法,先训练一个神经网络计算左右两张图片的视差，训练完成后，该神经网络作为条件生成对抗网络的生成器；然后训练另一个神经网络判断视差图的正确性，训练完成后，该神经网络作为条件生成对抗网络的判别器；在训练本发明的条件生成对抗网络时，生成器生成左右眼图像的视差图，判别器判别该视差图的正确率；根据判别器的判别结果，调节生成器网络的权值；训练完成后，生成器的网络权值调整到最佳，将生成器分离出来，此时的生成器就是能生成左右眼图像视差图的最佳神经网络。通过上述操作，得到的最佳神经网络结构较简单，再使用GPU加速计算，可以提高现有的匹配速度。

技术领域

本发明涉及一种利用条件生成对抗网络(CGAN(Conditional GenerativeAdversarial Nets))计算视差的方法。

背景技术

一、立体匹配技术背景：

1、概念

立体匹配算法主要是通过建立一个能量代价函数，通过此能量代价函数最小化来估计像素点视差值。立体匹配算法的实质就是一个最优化求解问题，通过建立合理的能量函数，增加一些约束，采用最优化理论的方法进行方程求解，这也是所有的病态问题求解方法。

2、立体匹配基原

目前匹配算法中所采用的匹配基元可以分成两大类：

1)在所有图象像素点上抽取量测描述子

A、像素灰度值，是最简单、直接，但必须在同一光照条件下获得。

B、局部区域灰度函数，主要是利用求得在各种大小不同窗口中灰度分布的导数信息，描述像素点周围的结构矢量。

C、卷积图象符号，利用各种大小算子与图象进行卷积，用灰度梯度局部极大值或极小值作为特征信息，描述整个图像

2)图像特征

A、过零点

B、边缘，由于边缘是图像特征位置的标志，对灰度值的变化不敏感，边缘是图像匹配的重要特征和描述子。

C、角点，虽然其没有明确的数学定义，但普遍认为的角点，即二维图像亮度变化剧烈的点或边缘曲线上曲率极值点。

3、主要立体匹配算法分类

1)根据采用图像表示的基元不同，立体匹配算法分为：

A、区域立体匹配算法，可获取稠密视差图。基本原理是给定在一幅图像上的某一点，选取该像素点邻域内的一个子窗口，在另一幅图像中的一个区域内，根据某种相似性判断依据，寻找与子窗口图像最为相似的子图，而其匹配的子图中对应的像素点就为该像素的匹配点。

一般单纯的区域匹配都遇到如下限制：

1)针对弱纹理或存在重复纹理的区域，匹配结果不好

2)该算法不适应于深度变化剧烈的场景

3)对光照、对比度和噪声比较敏感

4)子窗体的大小很难选择

缺点：受图像的仿射畸变和辐射畸变影响较大；像素点约束窗口的大小与形状选择比较困难，选择过大，在深度不连续处，视差图中会出现过度平滑现象；选择过小，对像素点的约束比较少，图像信息没有得到充分利用，容易产生误匹配。

B、基于特征的立体匹配算法，可获得稀疏的视差图，经差值估计可获得稠密视差图。可提取点、线、面等局部特征，也可提取多边形和图像结构等全局特征。

特征的匹配算法，主要是基于几何特征信息(边缘、线、轮廓、兴趣点、角点和几何基元等)，针对几何特征点进行视差估计，所以先要提取图像的特征点，尽而利用这些特征点的视差值信息来重建三维空间场景。