[发明专利]多视觉任务协同的深度估计模型的构建方法

权利要求书

1.一种多视觉任务协同的深度估计模型的构建方法，其特征在于，包括以下具体步骤：

立体视觉约束下的快速场景深度估计模型构建：

采用构建多尺度多重预测的高速推理模型的方法，通过快速特征提取网络提取多分辨率的深度特征，经过多阶段视差细化方案进行视差精度提升；

视差几何和知识先验协同的模型优化：利用一种知识置信引导的无监督学习框架，在无需真实深度值参与的情况下，通过对模型深度预测值进行权衡，达到模型微调，增加模型泛化能力的目的；

联合语义特征的目标深度精细化：构造一个从粗糙到精细的逐阶段优化的类似深度估计的模块语义分割模块，形成特征层共享的对称结构，再利用相同阶段不同网络特征，经过视差获取网络得到融入了语义几何信息的视差图；进一步达到障碍物目标精细化的目的；

所述立体视觉约束下的快速场景深度估计模型构建具体为：

1)快速特征提取模块：获得不同尺度上的特征提取和表达，采用轻量化的网络架构提取左、右图像对多分辨率下的特征，并提取不同分辨率下的图片特征，分别被应用于不同尺度的阶段，原始图片通过池化或者卷积进行下采样操作，低分辨率的特征图可以包含全局上下文信息，高分辨率的特征图包含更多的细节信息，在不同尺度下的最终的卷积层都集合了前面已经计算过的不同尺度的特征；

2)视差估计模块：假设特征图维度为H×W，M表示场景最大候选视差，每次像素位置在每个视差上构成一个H×W×M成本立方体，因为不适定区域的匹配都会给成本立方体带来较大误差，因此加入三维的网络结构进一步提升成本立方体的精度，假设C_ijk表示表示左图像素点P(i,j)在第k个视差时的成本代价，那么成本与像素颜色空间值满足：最后通过最小化C_ijk得到低分辨深度图d₃；

3)差异预测模块：在高分辨率场景下，两图之间的视差可能会非常大，采用计算差异可有效的提升运算速度，假设已获得初始深度图像d₃，在尺度1和尺度2阶段只预测差异，首先对d₃进行上采样到更高分辨率的d₃₂，若左视差图(i,j)预测值为k，则将左图每个像素(i,j)的值覆盖对应的右图像素(i,j+k)的值，若超出边界则使用0，如果目前视差预测是正确的，那么更新的右图特征图会与左图匹配，若预测不正确，通过计算剩余视差图来纠正，剩余视差的预测与全视差图的计算方法相似，以此类推，采用多个阶段，得到视差图d₂和d₁；

所述视差几何和知识先验协同的模型优化过程为：

1)深度置信函数的设计：假设用于微调的无监督网络预测深度估计用表示，那么置信损失函数可以设计为：

其中p表示空间点，P_v为置信度高的稀疏样本，即P_v＝{p:c(p)τ}，τ为一个可学习函数，用于控制样本数量，防止收敛过快，

2)考虑亮度的重建误差构建：在重建图像计算误差时考虑加入加权的局部对比度归一化用来移除亮度与视差的相关性，若μ为局部均值，σ表示标准差，那么归一化后的像素值I_LCN写为：I_LCN＝f(I,μ,σ,η)，但在弱纹理区域局部标准差趋于0，考虑加入一个重加权重构σ_ij，用l₂范数进行图像与重构后像素的差异计算；

3)无监督损失函数的构成：无监督损失函数由置信损失L_c、左右图重建误差L_r以及视差间的平滑误差L_s构成，考虑到重建失真，重建误差函数中引入图像质量评价中的图像结构相似度指标，综合计算重构图像和原始图像在光度上的误差；为了使得视差在局部上保持平滑，深度不连续性通常出现在图像的梯度上，图像的梯度也需要被考虑进来，在总损失函数里添加对视差梯度进行l₂惩罚。

2.根据权利要求1所述的一种多视觉任务协同的深度估计模型的构建方法，其特征在于，所述联合语义特征的目标深度精细化的过程为：

1)语义特征融入模式：采用快速特征提取模块，将其看作类似一个编码结构，之后增加一个语义分割网络分支；语义分割类似深度估计模块，也是一个从粗糙到精细的逐阶段优化的过程，通过上采样和差异拟合输出当前阶段语义分割图，与视差估计网络形成对称结构；将每个阶段语义特征和视差成本代价连接形成融合特征；利用融合特征和当前阶段深度图下进行视差精度的优化；

2)构建样本均衡权重项：在训练损失函数时考虑同等地对待所有像素的深度值分布，将深度置信损失函数中，添加权重项，使得每个像素点对应的深度估计值都有权重，同时考虑加入正则化项，避免训练开始时的梯度消失和较近区域学习时的截断。