[发明专利]自监督深度网络的训练方法、图像深度的获取方法和装置

权利要求书

1.一种自监督深度网络的训练方法，其特征在于，包括：

将训练图像对输入到位姿网络中，得到所述训练图像对的位姿偏移，所述训练图像对包括图像t和图像t+m；

将所述训练图像对输入到偏移网络中，得到所述训练图像对的特征对齐偏移和所述图像t+m的对齐特征；

将所述训练图像对输入到深度网络中，得到所述图像t的深度图和所述图像t+m的深度图；

获取所述图像t和所述图像t+m的光度一致性损失、时空一致性损失和平滑损失；

根据所述图像t+m的对齐特征重建所述图像t对应的重建图像，计算所述重建图像和所述图像t的重建损失；

根据所述训练图像对的特征对齐偏移和所述图像t+m的深度特征，计算得到所述图像t+m的对齐深度特征，根据图像t+m的对齐深度特征和所述图像t的深度特征，计算得到深度特征损失；

将所述深度特征损失和所述重建损失之和确定为深度特征对齐损失；

计算所述图像t和所述图像t+m的体素密度对齐损失；

根据所述光度一致性损失、所述时空一致性损失、所述平滑损失、所述深度特征对齐损失和所述体素密度对齐损失确定总损失；

对所述总损失进行优化得到所述位姿网络、偏移网络和所述深度网络的参数。

2.根据权利要求1所述的方法，其特征在于，将所述训练图像对输入到偏移网络中，得到所述训练图像对的特征对齐偏移和所述图像t+m的对齐特征，包括：

提取所述图像t和所述图像t+m的特征；

将所述图像t和所述图像t+m的特征输入到可变形卷积网络中：

其中，f_dc表示所述可变形卷积网络，F_t+m表示所述图像t+m的特征，θ_t+m→t表示所述训练图像对的特征对齐偏移，表示所述图像t+m的对齐特征；

其中，f_dc的计算过程表示为：

p_k是一个核大小为n×n的标准卷积的第k个采样偏移，p+p_k+Δp_k是可变形卷积在某个位置p处学到的第k个偏移；

通过所述变形卷积网络的学习得到所述特征对齐偏移和所述图像t+m的对齐特征。

3.根据权利要求2所述的方法，其特征在于，计算所述重建图像和所述图像t的重建损失，包括：

通过如下公式计算所述重建损失：

其中，表示所述重建图像，I_t表示所述图像t，L_RE表示所述重建损失。

4.根据权利要求2所述的方法，其特征在于，根据所述训练图像对的特征对齐偏移和所述图像t+m的深度特征，计算得到所述图像t+m的对齐深度特征，根据图像t+m的对齐深度特征和所述图像t的深度特征，计算得到深度特征损失，包括：

通过如下公式计算所述图像t+m的对齐深度特征：

其中，表示所述图像t+m的深度特征，θ_t+m→t表示所述训练图像对的特征对齐偏移，f_dc表示所述可变形卷积网络，表示所述图像t+m的对齐深度特征；

通过如下公式计算所述深度特征损失：

其中，L_DF表示所述深度特征损失，表示所述图像t的深度特征。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述计算所述图像t和所述图像t+m的体素密度对齐损失，包括：

根据所述图像t+m的深度图得到所述图像t+m对应的点云，根据所述图像t的深度图得到所述图像t对应的点云；

根据所述图像t+m对应的点云以及所述位姿偏移，得到所述图像t+m转换后的点云；

根据所述图像t对应的点云计算得到所述图像t的体素密度，根据所述图像t+m转换后的点云计算得到所述图像t+m的体素密度；

根据所述图像t的体素密度和所述图像t+m的体素密度计算体素密度对齐损失，所述体素密度对齐损失要求所述图像t和所述图像t+m中相同位置处的体素中的三维点的数量相同。