[发明专利]一种基于相对深度训练的半监督学习三维重建方法

权利要求书

1.一种基于相对深度训练的半监督学习三维重建方法，其特征在于，包括如下步骤：

S1，通过双目相机采集目标物体的立体图像对，并对每一对图像进行处理，包括对图像的矫正以及人工标注，处理后的图像构成训练数据集；

S2，搭建U型结构的三维重建网络模型，包括特征提取部分和解码部分，所述特征提取部分的基础网络模块采用残差结构，所述特征提取部分还引入了卷积核注意力机制；

S3，将立体图像对输入三维重建网络进行特征提取，预测得到一对视差图，利用预测视差图以及视差图-原图的关系，重构出一对原图，通过重构原图和真实原图的对比计算重构误差损失；

S4，在S3中获得的预测视差图上进行训练，构建对应的损失项，对不满足相对深度值的像素点对进行惩罚；

S5，对训练好的三维重建网络进行减支，将三维重建网络中用于计算损失的多尺度预测分支进行裁剪，只留下最后一层的输出；预测时，三维重建网络模型输入单张图像、输出一张视差图，再结合双目相机的参数以及视差-深度的转换关系，计算得到深度图，最终完成三维重建。

2.根据权利要求1所述的基于相对深度训练的半监督学习三维重建方法，其特征在于，所述人工标注具体为：

在目标物体的立体图像对上均进行标注，在立体图像对的两张图像上选择不同的像素点对进行标注，每张图像上选取两对像素点，标注出这两对像素点的相对深度关系，并把相对深度关系量化，转为相对深度值R；按照取点顺序，若第一个点比第二个点远，令R＝1，若第一个点比第二个点近，令R＝-1，若两个点同深度，令R＝0。

3.根据权利要求1所述的基于相对深度训练的半监督学习三维重建方法，其特征在于，所述残差结构具体为：

后面某一层与前面某一层进行了跳跃连接：输入特征首先经过一个残差块，采用Attention-block作为该残差块主分支的开端，两个分支均使用1*1卷积升维后进行元素级相加，经过BN层、ReLU激活后送入第二个残差块，第二个残差块的主分支由两次3*3的卷积组成，卷积后与第二个残差块的输入直接进行元素级相加，再由BN层、ReLU激活后输出。

4.根据权利要求1所述的基于相对深度训练的半监督学习三维重建方法，其特征在于，所述卷积核注意力机制具体为：

对输入特征图分别进行3*3和7*7的卷积，将原图分辨率缩小一倍，并对两个分支的结果进行元素级相加融合，对融合后的特征图进行全局平均池化，得到一个C×1×1的一维向量，接着经过两层全连接层后，得到两个C×1×1的一维向量，再送入softmax分析器进行非负性和归一化操作，生成权重矩阵；两个分支的特征图与各自的权重矩阵相乘后，进行元素级相加，得到最后的输出特征；其中C为通道数。

5.根据权利要求3所述的基于相对深度训练的半监督学习三维重建方法，其特征在于，所述三维重建网络模型前半部分是特征提取，后半部分是上采样，将目标物体训练数据集的分辨率统一调整后，输入三维重建网络模型，首先进行一次卷积和一次下采样，再经过4次基础网络模块，随后进行6次上采样、同级拼接和卷积，在后4次上采样、同级拼接和卷积得到的特征图上均进行视差的预测，用于训练。

6.根据权利要求1所述的基于相对深度训练的半监督学习三维重建方法，其特征在于，所述S3具体为：将立体图像对输入搭建好的三维重建网络模型中，分别得到4个尺度的预测视差图，由左图得到的称为左视差图，由右图得到的称为右视差图，将与原图尺寸一样的左视差图结合右图，插值生成左图的估计，与原图尺寸一样的右视差图结合左图，插值生成右图的估计，生成了一对重构的原图，与真实原图进行对比形成了重构损失，损失函数如下：

式中，I_ij为立体图像对其中一张视图的每个像素点，为预测视差图上的每个像素点，N为像素点总数，SSIM为滤波函数。