[发明专利]一种基于对抗性训练的多视图立体深度估计方法

权利要求书

1.一种基于对抗性训练的多视图立体深度估计方法，其特征在于包括以下步骤：

步骤1：构建数据集并进行预处理，所述数据集为同一场景多个视角拍摄的RGB图像，包括参考图像及其相邻图像，参考图像及其相邻图像作为一组输入图像。

步骤2：构建深度估计网络，所述的深度估计网络包括特征提取模块、编码模块、生成模块、判别模块、以及深度图细化模块，其中，特征提取模块用于提取输入立体图像对的特征，编码模块用于将一元特征向量投影到隐空间进行编码，生成特征编码z，使特征表示更稳健；生成模块用于根据输入的隐特征编码生成图像的初始深度图；特征提取模块、编码模块、生成模块共同构成生成网络；判别模块仅在训练时使用，利用参考图像的基准深度图判断初始深度图是否为真，所述基准深度图通过对参考图像进行标注得到；深度图细化模块用于生成最终的深度图；

步骤3：模型训练：首先将预处理后的训练数据集多视图立体图像输入到深度估计网络的生成网络中进行前向传播计算，得到相邻图像的初始深度图；然后，将输出的相邻图像的初始深度图和参考图像的基准深度图输入到判别网络中，利用批量梯度下降法进行反向传播；在生成网络和判别模块相互博弈对抗训练的过程中，根据梯度多次更新迭代模型的学习参数以获得最优的深度估计网络模型，该模型的学习参数包括权重和偏置；最后，将最终对抗训练学习得到的初始深度图输入到深度细化网络中进行残差学习得到最终深度图；训练时，以整体损失函数来训练整个网络模型；

步骤4：利用训练完成的深度估计网络模型对待估计的多视图立体图像进行深度估计，具体的，将待估计的多视图立体图像输入特征提取模块进行特征提取；然后经过编码模块生成隐特征编码；接下来经过生成模块生成初步深度图；最后通过深度图细化模块对初始深度图进行细化得到最终深度图，以此完成多视图深度估计。

2.根据权利要求1所述的多视图深度估计方法，其特征在于，步骤1中所述的预处理指：对数据集中每张输入立体图像进行随机裁剪，然后对其进行归一化操作，使图像色彩值范围在[-1,1]之间。

3.根据权利要求1所述的多视图深度估计方法，其特征在于，所述的特征提取模块是一个2维卷积神经网络；所述的2维卷积神经网络由8层卷积层成，卷积核为5×5、步长为2，每层卷积层依次对输入的N个立体图像进行下采样；上述特征提取的8层卷积层，除最后一层，每个卷积层之后依次是由批量归一化(BN)层和修正线性单元(ReLU)组合的残差块结构，残差块结构的卷积核均为3×3，特征维度均为32，步长为1；经过上述卷积操作后，所述2维卷积神经网络的输出是N个尺寸为H/4×W/4×F的一元特征向量，其中H、W分别表示原始输入图像的高和宽，F表示特征维度。

4.根据权利要求1所述的多视图深度估计方法，其特征在于，所述编码模块是由5层卷积核为2×2的卷积最大池化层组成，输入是N个一元特征向量，输出是N个一维的特征编码z；上述编码模块将一元特征向量投影到隐空间Z进行编码降维生成特征编码z。

5.根据权利要求1所述的多视图深度估计方法，其特征在于，所述生成模块是由7层卷积核为2×2的反卷积层组成，用于进行上采样产生初始深度图，其输入是N个隐特征编码z，输出是N张单通道灰度深度图；上述生成模块的7层反卷积层，除输出层外，在每层之后依次是批量归一化(BN)层和修正线性单元(ReLU)；经过上述反卷积操作后，所述反卷积神经网络的输出是N张初始深度图，初始深度图的维度为H×W×1，其中H、W分别表示原始输入图像的高和宽。

6.根据权利要求1所述的多视图深度估计方法，其特征在于，所述判别模块由6层卷积层组成，卷积核为5×5、步长为2，用于判别深度图的真伪；输入是生成模块生成的初始深度图和参考图像的基准深度图，输出是对深度图的判别结果；上述判别模块的6层卷积层，除输入层，每层之后是批量归一化(BN)层和带泄露修正线性单元(Leaky ReLU)；判别模块仅用于训练训练阶段。