[发明专利]基于非对称深度卷积神经网络的多视角深度预测方法

说明书

本公开揭示了一种基于非对称深度卷积神经网络的多视角深度预测方法，包括：构建一种非对称深度卷积神经网络；结合参考图像，将相邻图像构造为平面扫描卷；在现有数据集上预先训练第一神经网络；使用第一神经网络的模型参数进一步初始化第二神经网络这一非对称深度卷积神经网络；最终通过第二神经网络完成多视角深度预测。本公开允许输入任意数量和任意分辨率的不同视角的图像，减少了繁琐的手工操作，也减少限制约束，从而实现了对多目图像所产生的不同视角图像的深度的高精度预测。

技术领域

本公开属于计算机视觉技术领域，具体涉及基于非对称深度卷积神经网络的多视角深度预测方法。

背景技术

挖掘图像所包含的深度信息可以生成准确的深度图，目前深度预测研究已应用于3D重建领域并取得了显著成果。与深度学习方法相比，传统的图像深度预测方法需要大量的资源和大量繁琐的手工操作，如立体匹配和手工标记等。目前，基于深度学习的图像深度预测方法主要利用单目图像进行预测。而基于深度学习的多视角深度预测方法不仅可以减少繁琐的人工操作，而且可以减少限制条件。特别是对于结构简单、没有结构等细节场景的预测，比传统方法更准确、更稳定。将卷积神经网络应用于视觉重建问题，早期的工作主要是集中在利用图像的相似性进行立体匹配，最近的研究使用端到端的学习进行立体重建，然而，这些方法对相机的相对位姿或输入图像的数量有限制，或者会产生粗略的体积重构。

发明内容

为了解决上述技术问题，本公开揭示了一种基于非对称深度卷积神经网络的多视角深度预测方法，包括如下步骤：

S100、定义第一图像序列，其中，所述第一图像序列具备如下特征：所述第一图像序列不限制其中的图像数量、所述图像序列中的各个图像的分辨率是否相同不受限制、所述图像序列中的图像至少包括针对某一确定场景的多张不同视角的图像；

S200、任意选取所述第一图像序列中的一张图像作为所述确定场景中的参考图像；

S300、计算出图像序列中其余图像与参考图像的重叠率，并选取重叠率最高的N张作为所有的相邻图像，N最小能够取1；然后，对于N张相邻图像中的每一张相邻图像，根据参考图像对相邻图像在每个视差级别上进行WarpAffine仿射变换，并将仿射变换后的相邻图像存储在一个平面扫描卷中，以此构造出包括有张仿射变换后的相邻图像的平面扫描卷；

S400、构建第一神经网络，所述第一神经网络包括由前向后依次连接的：特征融合模块、第一视差预测核心模块、特征聚合模块，其中：

特征融合模块，用于将参考图像和所述平面扫描卷中的仿射变换后的相邻图像的每一视差级别的特征融合并输出融合后的特征图，其中，所述特征融合模块包括由前向后依次连接的四个5*5卷积层；

第一视差预测核心模块，用于根据前一个模块所输出的融合后的特征图进行特征提取和对视差信息进行预测，其中，所述第一视差预测核心模块包括由前向后依次连接的两个卷积层，其中一个卷积层用于特征提取，另一个卷积层用于对视差信息进行预测以预测每个视差级别上的信息；

特征聚合模块，用于利用最大池化对前一个模块所预测的每个视差级别上的信息进行聚合以得到深度图，其中，所述特征聚合模块包括依次连接的一个池化层和两个卷积层，经过所述两个卷积层生成聚合后的特征图，所述聚合后的特征图经过全连通条件随机场优化得到1通道的视差图，求倒数得到所述确定场景中的所述参考图像的深度图；

S500、对于所述第一神经网络，将学习率设置为10^-5，限制L2范式不超过1.0，并且：按照上述步骤S100所定义的第一图像序列，在第一数据集上选取多张图像作为所述第一图像序列，然后分别按照上述步骤S200、S300得到对应的参考图像、平面扫描卷，并以该参考图像、平面扫描卷作为输入以预先训练所述第一神经网络；训练迭代320000次后，保存所述第一神经网络的模型参数；其中，该步骤使用自适应时刻估计法(Adam)迭代训练所述第一神经网络并保存模型参数，并且：