[发明专利]自监督深度网络的训练方法、图像深度的获取方法和装置

说明书

本发明提供一种自监督深度网络的训练方法、图像深度的获取方法和装置，在基于自监督的深度网络的训练过程中，引入了深度特征对齐损失和体素密度对齐损失，深度特征对齐损失能够提高光照变化区域、反射表面和无纹理区域等场景下网络模型的光度一致性的鲁棒性，体素密度对齐损失能够提高移动物体场景下网络模型的光度一致性的鲁棒性，并通过光度一致性损失、时空一致性损失、平滑损失、深度特征对齐损失和体素密度对齐损失确定总损失，使用该总损失作为网络训练的监督信号，从而能够更加鲁棒地约束跨图一致性，学习到更鲁棒的深度网络。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种自监督深度网络的训练方法、图像深度的获取方法和装置。

背景技术

图像的深度估计能够通过二维图像获取到三维图像，目前广泛应用在自动驾驶、机器人视觉、无人机、三维场景重建、虚拟现实(Virtual Reality，简称VR)或者增强现实(Augmented Reality，简称AR)等应用场景中。

单目图像深度估计是指从单目相机捕捉的二维图像中获取每个像素的深度信息，为了提高深度估计的准确性，可以通过单目相机捕捉的多张连续图像联合进行深度估计。目前单目图像深度估计主要采用有监督和自监督(也称为无监督)两种方法，二者的区别在于网络训练采用的图像是否需要进行深度标记，采用有监督方法训练网络时图像需要进行深度标记，采用自监督方法训练网络时图像不需要进行深度标记。现有的自监督学习方法通过利用连续帧之间的跨视图一致性预测图像深度，通常由两个网络分别预测深度(depth)和相机姿态(pose)，然后共同利用它们将源帧(source frame)扭曲为参考帧(reference frame)，从而将深度估计问题转换为光度误差最小化过程。

基于自监督的图像深度估计已经证明了连续帧之间光度一致性损失的有效性，一方面光度一致性很容易受到光照变化、反射表面和无纹理区域的破坏，另一方面，自然场景中总会有一些移动物体从而产生遮挡区域，也影响了光度一致性的成功，从而导致基于光度一致性损失进行的图像深度估计方法的鲁棒性低。

发明内容

本发明提供一种自监督深度网络的训练方法、图像深度的获取方法和装置，提高了基于光度一致性损失进行的图像深度估计方法的鲁棒性。

第一方面，本发明提供一种自监督深度网络的训练方法，包括：

将训练图像对输入到位姿网络中，得到所述训练图像对的位姿偏移，所述训练图像对包括图像t和图像t+m；

将所述训练图像对输入到偏移网络中，得到所述训练图像对的特征对齐偏移和所述图像t+m的对齐特征；

将所述训练图像对输入到深度网络中，得到所述图像t的深度图和所述图像t+m的深度图；

获取所述图像t和所述图像t+m的光度一致性损失、时空一致性损失和平滑损失；

根据所述图像t+m的对齐特征重建所述图像t对应的重建图像，计算所述重建图像和所述图像t的重建损失；

根据所述训练图像对的特征对齐偏移和所述图像t+m的深度特征，计算得到所述图像t+m的对齐深度特征，根据图像t+m的对齐深度特征和所述图像t的深度特征，计算得到深度特征损失；

将所述深度特征损失和所述重建损失之和确定为深度特征对齐损失；

计算所述图像t和所述图像t+m的体素密度对齐损失；

根据所述光度一致性损失、所述时空一致性损失、所述平滑损失、所述深度特征对齐损失和所述体素密度对齐损失确定总损失；

对所述总损失进行优化得到所述位姿网络、偏移网络和所述深度网络的参数。

可选的，所述计算所述图像t和所述图像t+m的体素密度对齐损失，包括：