[发明专利]内窥镜图像的视差预测模型建立方法及深度估计方法

权利要求书

1.一种基于稀疏标签的内窥镜图像视差预测模型建立方法，其特征在于，包括：

建立视差预测网络DEnet，并利用第一训练数据集对所述视差预测网络DEnet进行预训练；所述视差预测网络以双目图像为输入，用于预测输入的双目图像中每个像素对应的视差值，得到视差图；所述第一训练数据集中的样本为已经过畸变矫正和极线矫正，且已标注左目图像视差图的双目图像；

以预训练后的视差预测网络DEnet为生成器，建立生成对抗网络，并利用第二训练数据集对所述生成对抗网络进行训练，将训练后的生成对抗网络中的生成器记为Teacher模型；所述生成对抗网络中，判别器的输入为左目图像及其视差图构成的图像对，其中的图像视差图为标注的视差图，或者由生成器预测得到的视差图，所述判别器用于判断输入的视差图的来源；所述第二训练数据集中的样本为已经过畸变矫正和极线校正的双目图像，其中部分样本已标注了左目图像视差图，已标注样本的比例不超过预设的第一阈值，且样本随深度呈长尾分布；

将所述Teacher模型作为所述内窥镜图像视差预测模型，或者，利用所述Teacher模型预测所述第二训练数据集中未标注的样本对应的左目图像视差图作为伪标签，得到第三训练数据集；以预训练后的视差预测网络DEnet为Student模型，并利用所述第三训练数据集对其进行训练，将训练后的Student模型作为所述内窥镜图像视差预测模型。

2.如权利要求1所述的基于稀疏标签的内窥镜图像视差预测模型建立方法，其特征在于，所述内窥镜图像视差预测模型为训练后的Student模型时，以预训练后的视差预测网络DEnet为生成器，建立生成对抗网络，并利用第二训练数据集对所述生成对抗网络进行训练时，还包括：建立置信度网络，并随所述生成对抗网络一起训练所述置信度网络；所述置信度网络用于预测所述生成器输出的视差图中各像素视差的置信度；所述置信度的取值范围为[0,1]，且置信度越高，相应的像素视差的预测结果越准确；

并且，所述第三训练数据集对所述Student模型进行训练时，若输入的样本为标注了伪标签的双目图像，则利用训练后的所述置信度网络获得该伪标签中各像素视差的置信度，并在计算相应的损失值时作为像素视差的预测误差的权重。

3.如权利要求2所述的基于稀疏标签的内窥镜图像视差预测模型建立方法，其特征在于，所述内窥镜图像视差预测模型为训练后的Student模型时，利用所述第三训练数据集对所述Student模型进行训练时，若输入的样本为原始的已标注的样本，则相应的损失值为：

若输入的样本为标注了伪标签的样本，则相应的损失值为：

L_stu＝C·L_sup(d_s,DEnet_T(I_l,I_r))；

其中，d_s表示所述Student模型预测的视差值，表示标注的视差值，DEnet_T(I_l,I_r)表示由所述Teacher模型标注的伪标签，C表示由所述置信度网络输出的伪标签中各像素视差的置信度；L_sup表示视差预测结果与标注结果之间的误差。

4.如权利要求3所述的基于稀疏标签的内窥镜图像视差预测模型建立方法，其特征在于，

其中，N表示有标记的像素总数，d表示预测的视差值，表示标注的视差值，为像素的权重，且位于较远区域的像素具有较大的权重；表示平滑L1损失。

5.如权利要求4所述的基于稀疏标签的内窥镜图像视差预测模型建立方法，其特征在于，α_d为归一化后的像素视差值。