[发明专利]一种基于对抗网络的稀疏深度补全方法

说明书

本发明公开了一种基于对抗网络的稀疏深度补全方法，具体步骤包括：首先设计一个衡量网络M以提供多尺度衡量函数用于训练估计网络E；在训练阶段，使用估计网络E用于输出预测的稠密深度图；训练衡量网络M以提供一种衡量函数可以最大化预测的稠密深度图与标签之间的距离；训练估计网络以最小化预测稠密深度图与标签之间的距离，此距离使用L1度量函数与衡量网络M提供的度量函数加权平均得到；训练完成后，在测试阶段，不使用衡量网络M，仅使用估计网络E即可完成稀疏深度补全任务，节省计算量。

技术领域

本发明属于计算机视觉与模式识别领域，特别涉及一种基于对抗网络的稀疏深度补全方法。

背景技术

近年来，随着机器人领域的深入发展，深度估计领域在近年来焕发了勃勃生机。从2014年开始，随着深度学习的发展，深度神经网络逐渐应用于深度估计领域，获得了比传统深度估计方法更高的准确率。尽管基于深度学习的深度估计算法相比传统算法有了长足的进步，仅仅依靠一张图片来估计深度仍然是一种多值问题，有其内在的模糊性。仅仅依靠由激光雷达或SLAM相关算法得到的稀疏深度图来估计稠密的深度图往往缺失细节信息，由于稀疏深度图稀疏的天性。目前一个热门的解决方向是基于图像的稀疏深度补全，综合了单目深度估计和仅依赖稀疏深度图的稀疏深度估计的优势，根据图像的语义信息和稀疏深度的尺度信息来估计稠密的完整的精确的深度图。然而，由于稀疏深度图的冲激响应具备全频段的频谱，且深度神经网络具备低通特性，估计出的稠密深度图前背景边缘模糊且平滑平面的深度不平坦，这导致估计出的稠密深度图在机器人及AR等领域受到限制。

目前大多数算法都使用L1度量函数来衡量预测的稠密深度图与标签之间的距离。L1度量函数对稀疏深度补全方法估计出的稠密深度图中前背景模糊的现象不敏感，缺乏对估计的稠密深度图中平面区域不平坦现象的有效抑制。这导致大多数使用L1度量函数的算法估计出的稠密深度图的视觉效果不能令人满意，也限制了基于稠密深度图的一些应用，如增强现实及机器人等领域的应用。

发明内容

本发明针对稀疏深度补全算法输出的稠密深度图视觉效果较差，特别是前背景边缘模糊及平面深度值不平坦的问题，提供了一种基于对抗网络的稀疏深度补全方法。

为实现上述技术目的，本发明采用的技术方案如下：一种基于对抗网络的稀疏深度补全方法，包括以下步骤：以

(1)设计一个衡量网络M，以提供多尺度衡量函数用于训练估计网络E；

(2)在训练阶段，使用衡量网络M衡量估计网络E输出的预测值与标签之间的距离，并训练衡量网络M最大化该距离；

(3)在训练阶段，使用估计网络E输出与输入图片对应的预测值，并训练估计网络E使预测值与标签在L1度量函数和衡量网络M的衡量下距离同时达到最近；

(4)在训练阶段，使用衡量网络M完成拼图任务以获取更多空间信息；

(5)在测试阶段，使用步骤(3)训练好的估计网络E提供稠密深度预测值；

进一步地，所述的步骤(1)中，设计的衡量网络M具体为：输入的预测值或标签先由一个卷积层进行卷积操作得到初始特征，然后将该特征输入至多个分支结构中以得到最后的多尺度特征；每个分支结构由卷积层堆叠形成，其中第一个卷积层为跳跃卷积(strideconvolution)，其跳跃步长(stride)由该分支所处理的尺度决定；利用多个分支结构对多个尺度的输入进行处理，并得到多个尺度的特征用于在多个尺度上对预测值和标签进行距离衡量。

进一步地，所述的步骤(1)中，设计的衡量网络M提取的多尺度特征的通道数量可以是任意数值。

进一步地，所述的步骤(2)中，衡量网络M提供一种衡量函数用于衡量估计网络E输出的预测值与标签之间的距离。训练衡量网络M以最大化特征间距离：

其中，P为估计网络E输出的预测值，D为标签。