[发明专利]一种基于掩模增强网络模型的无监督深度补全方法

权利要求书

1.一种基于掩模增强网络模型的无监督深度补全方法，其特征在于，包括以下步骤：

步骤S1：采集KITTI数据集，并随机分为训练集和验证集；

步骤S2：构建用于输出稠密深度图的深度图网络模型和用于输出连续两帧之间运动物体和梯度较小区域的掩膜网络模型；

步骤S3：构建网络训练的损失函数；

步骤S4：根据得到的训练集，对深度图网络和掩膜网络进行无监督训练，并保存深度图网络模型和掩膜网络模型的各项权重值；

步骤S5：根据验证集，对深度图网络超参数的调整，重复步骤S4，得到优化后的深度图网络模型；

步骤S6：将待补全深度图输入优化后的深度图网络模型，进行深度补全，得到深度补全后的深度图；

所述步骤S3具体为：

步骤S31：对于稀疏激光雷达深度图的深度补全，要保证在补全后的稠密深度图要与稀疏激光雷达深度图具有深度信息的像素点具有一致的深度信息，构建损失函数

其中D_s表示的是稀疏雷达深度图，D_pred表示的是从深度图网络输出的稠密深度图，右下角角标的d0表示的是只计算稀疏深度图有深度信息的部分；

步骤S32：对于稀疏深度图中没有深度信息的点，通过光度误差损失函数作为约束；

步骤S33：引入拉普拉斯算子作为损失函数：

所述步骤S32具体为：

步骤S321:将当前帧k的图像和它的附近帧k+1的图像进行特征点匹配，再将当前帧的特征点的2D坐标系转移到激光雷达所在的3D坐标系，通过PnP的方法得到当前帧3D坐标系到附近帧2D坐标系的旋转矩阵r_k,k+1和转移矩阵t_k,k+1；

步骤S322:通过对当前帧和右侧摄像头拍摄图像之间的特征点匹配得到左右眼图像之间的旋转矩阵r_L,R和转移矩阵t_L,R；

步骤S323:设I_k和I_k+1为第k帧和第k+1帧图像，I_r表示为第k帧的右眼图像，P_k表示I_k中的一个像素，P_k+1表示为I_k+1中的一个像素，P_r表示为I_r中的一个像素，从P_k中推出P_k+1，从P_r通过：

P_k+1＝KT_k,k+1D_predK^-1P_k

其中的K是相机的内参矩阵，T_k,k+1是第k帧到第k+1帧的相机变化矩阵；

从当前帧k预测图像得到右眼的映射，公式如下：

P_r＝KT_k,rD_predK^-1P_k

步骤S324:通过以上两个公式，得到一张从预测的稠密深度图重构的当前帧RGB图像得到利用右视角图重构得到的当前帧RGB图像

则左眼和右眼的光度误差的损失函数可以从以下公式得到：

其中，E_mask是由通过掩膜网络输出的掩膜，L^SSIM(x,y)是

式中的u_x,u_y,σ_xy分别为图像x,y的均值，方差和协方差；c₁,c₂为小的正常数。

2.根据权利要求1所述的一种基于掩模增强网络模型的无监督深度补全方法，其特征在于，所述步骤S5具体为：

步骤S51：确定整个架构的损失函数是：

其中是用于抑制输出连续两帧之间运动物体和梯度较小区域的掩膜网络输出的掩膜，防止掩膜变成全0矩阵；α、β、γ和μ是的超参数权重；

步骤S52：将验证集图像输入深度图网络，将得到的输出图像性能进行检测，对α、β、γ和μ的值进行修改；性能评价指标RMSE公式为：

式中n是总的图像个数，y_i是深度图网络输出的图像，是KITTI提供的正确标注图像；

步骤S53：重新对深度图网络进行训练，然后再检测出深度图网络输出的RMSE指标；

步骤S54：重复步骤S52和步骤S53，选出性能最好一组α、β、γ和μ。