[发明专利]一种基于对抗网络的稀疏深度补全方法

权利要求书

1.一种基于对抗网络的稀疏深度补全方法，其特征在于，包括以下步骤：

(1)设计一个衡量网络M，以提供多尺度衡量函数用于训练估计网络E；

所述的步骤(1)中，设计的衡量网络M用于提取输入预测值或标签的多尺度特征，并在提取到的特征上进行距离衡量；设计的衡量网络M由一个基本卷积层和多个分支结构组成；每个分支结构由卷积层堆叠形成；利用多个分支结构对多个尺度的输入进行处理，并得到多个尺度的特征用于在多个尺度上对预测值和标签进行距离衡量；衡量网络M提取多尺度特征的过程可由如下公式描述：

O＝{B_i(C(z))|i∈{1,2,…,s}}

其中O是衡量网络M提取到的多尺度特征，B_i是第i个分支，C是基本卷积层，z是标签或估计网络E输出的预测值，s是选取的尺度数目；

(2)训练阶段，使用衡量网络M衡量估计网络E输出的预测值与标签之间的距离，并训练衡量网络M以最大化该距离；

(3)训练阶段，使用估计网络E输出与输入图片对应的预测值，并训练估计网络E使预测值与标签在L1度量函数和衡量网络M的衡量下距离同时达到最近；

(4)训练阶段，使用衡量网络M完成拼图任务以获取更多空间信息；

(5)测试阶段，使用步骤(3)训练好的估计网络E提供稠密深度预测值。

2.根据权利要求1所述的基于对抗网络的稀疏深度补全方法，其特征在于，所述的步骤(1)中，设计的衡量网络M提取的多尺度特征的通道数量为任意数值。

3.根据权利要求1所述的基于对抗网络的稀疏深度补全方法，其特征在于，所述的步骤(2)中，衡量网络M用于衡量估计网络E输出的预测值与标签之间的距离；训练衡量网络M以最大化特征间距离：

其中，P为估计网络E输出的预测值，D为标签。

4.根据权利要求1所述的基于对抗网络的稀疏深度补全方法，其特征在于，所述的步骤(3)中，估计网络E需要输出与标签尽量接近的预测值；除了使用L1度量函数衡量预测值与标签间的距离，还使用由衡量网络M所提供的度量函数衡量预测值与标签间的距离；训练估计网络E以最小化两者距离的加权和：

其中I是输入估计网络E的图片，α是两个距离的加权和权重。

5.根据权利要求1所述的基于对抗网络的稀疏深度补全方法，其特征在于，所述的步骤(4)为：将输入衡量网络M的预测值或标签划分为n×n的网格；将这些网格随机选取R种固定顺序中的一种进行打乱，并将打乱后的网格重新拼接为原分辨率的图像；将打乱后的图像输入衡量网络M中，并利用衡量网络M预测打乱的图像是选取R种固定顺序中的哪一种进行打乱的；使用交叉熵损失L_jig完成这一分类任务：

其中，y_ic是指示函数，p_ic是第c种固定顺序的预测概率，N是输入样本数。