[发明专利]基于遮挡感知和特征金字塔匹配的相机自运动估计方法

权利要求书

1.一种基于遮挡感知和特征金字塔匹配的相机自运动估计方法，其特征在于，包括以下步骤：

步骤S1：通过单目相机采集图像，并预处理，剔除相机静止时采集的图像，保留相机运动时采集的图像作为图像样本；

步骤S2:标定单目相机的相机内参和畸变系数，并将图像样本按比例分为训练集和验证集；

步骤S3:构建深度预测网络模型，相机运动网络模型和遮挡感知掩膜网络模型；

步骤S4:根据得到的深度预测网络模型，相机运动网络模型和遮挡感知掩膜网络模型，构建无监督学习的损失函数；

步骤S5:根据训练集，分别训练深度预测网络模型，相机运动网络模型和遮挡感知掩膜网络模型，得到训练后的深度预测网络模型，相机运动网络模型和遮挡感知掩膜网络模型；

步骤S6:根据得到的验证集，分别验证训练后的三个网络模型，并保存三个网络模型的参数，得到优化后的深度预测网络模型和相机运动网络模型；

步骤S7:将待测单帧图像输入优化后的深度预测网络模型，得到对应深度图；将待测多帧图像输入相机运动网络模型，得到相机的自运动预估结果；

所述步骤S4具体为：

步骤S41：输入目标图像I_n到深度预测网络模型，并输出预测的深度D_n；

步骤S42：输入目标图像I_n和附近帧I_f到相机运动网络模型，并输出预测的相机从I_n到附近帧I_f的自运动T_t→f，附近帧I_f为当前帧的前后帧；

步骤S43：输入图像I_n和附近帧I_f遮挡感知掩膜网络模型，并输出附近帧I_f所对应的一致性掩膜M_f，通过一致性掩膜M_f得到遮挡掩膜V_f；

步骤S44：从不同视角观察朗伯的物体表面，表面亮度都是一致的，构建光度误差损失L_p；

步骤S45：为了使得深度平滑并且边缘锐利，构建基于图像梯度的深度平滑损失函数

其中和分别表示X方向和Y方向梯度；

步骤S46：计算掩膜正则项和掩膜平滑损失，其中掩膜正则项为掩膜平滑损失为其中一致性掩膜M_-1，M₁∈M_f分别表示当前帧的前后帧所对应的掩膜；

步骤S47：构建目标帧和附近帧的特征金字塔，通过特征金字塔计算特征金字塔匹配误差损失函数L_f；

步骤S48：根据步骤S44、S45、S46和S47构建总的损失函数L＝L_p+λ_sL_s+λ_mL_m+λ_msL_ms+λ_fL_f，其中λ_s，λ_m，λ_ms，λ_f分别表示深度平滑损失函数、掩膜正则项、掩膜平滑损失函数和特征金字塔损失函数的权重。

2.根据权利要求1所述的基于遮挡感知和特征金字塔匹配的相机自运动估计方法，其特征在于，所述步骤S1具体为：

步骤S11：将单目相机安装在移动装置上，采集视频；

步骤S12：提取采集的视频序列中的图像，使用帧间差分法剔除相机没有运动时采集的图像；采集的连续帧图像I_n和I_n-1分别表示当前帧和前一帧；统计对应像素的差异，如果当前帧和前一帧相同位置像素值I_n(p)和I_n-1(p)的差异累计小于阈值，即∑_p|I_n(p)-I_n-1(p)|＜阈值，就剔除I_n图像，得到图像样本。