[发明专利]一种透明物体单视图多尺度深度估计方法和系统

权利要求书

1.一种透明物体单视图多尺度深度估计方法，其特征在于，包括：

获取双目摄像机捕获的缺失深度的透明物体的原左视图和原右视图，并提取原左视图和原右视图的透明物体的边界轮廓，具体包括：

获取双目摄像机捕获的透明物体的原左视图和原右视图；

将原左视图和原右视图送入边界预测网络，得到原左视图和原右视图的透明物体的边界轮廓；

所述将原左视图和原右视图送入边界预测网络，得到原左视图和原右视图的透明物体的边界轮廓的步骤，包括：

将原左视图和原右视图输入边界预测网络，边界预测网络对原左视图和原右视图分别依次进行三次采样，将每一次采样的结果分别进行四次不同的卷积和一次池化，将五次的结果进行堆叠，将得到的堆叠结果和前两次采样的结果送入解码器进行边界特征预测，得到原左视图和原右视图的透明物体的边界轮廓；

将左视图和右视图的透明物体的边界轮廓分别合成到原左视图和原右视图中，得到带有边界信息的左视图和右视图；

将带有边界信息的左视图或带有边界信息的右视图送入深度预测网络，得到左视差图和右视差图；

根据带有边界信息的左视图和右视图以及左视差图和右视差图建立深度预测网络的损失函数，对深度预测网络进行训练，使左视差图和右视差图的视差绝对值趋向于零；

将一张场景中带有透明物体的RGB图片送入去掉由深度图生成左视差图和右视差图部分架构的训练好的深度预测网络，得到RGB图片对应的透明物体的粗尺度深度图；

根据原左视图和原右视图的透明物体的边界轮廓，在透明物体形状模板库中进行形状匹配，根据形状匹配结果对粗尺度深度图进行深度补全；

所述透明物体形状模板库，是基于记录所述透明物体的各个位姿中各点的位置信息建立的姿态模板集合；

将原左视图和深度补全后的粗尺度深度图送入中尺度深度信息提取网络，得到中尺度深度图；

根据形状匹配结果对中尺度深度图进行深度补全；

将原左视图和深度补全后的中尺度深度图送入细尺度深度信息提取网络，得到细尺度深度图，其中，细尺度深度信息提取网络的卷积核大小大于中尺度深度信息提取网络的卷积核大小；

所述深度补全包括：

根据所述透明物体形状模板库中匹配对应位姿的所述透明物体外轮廓中各点相对于边缘的位置信息进行相对深度的计算，得到所述透明物体各点所对应的真实深度信息；

去除原图像中所述透明物体所在区域的所有深度信息，重新填入所述真实深度信息。

2.根据权利要求1所述的透明物体单视图多尺度深度估计方法，其特征在于，中尺度深度信息提取网络的卷积核大小为5×5，细尺度深度信息提取网络的卷积核大小为7×7。

3.根据权利要求1所述的透明物体单视图多尺度深度估计方法，其特征在于，解码器为BAM-Decoder。

4.根据权利要求1所述的透明物体单视图多尺度深度估计方法，其特征在于，深度预测网络的损失函数为：

其中，为代表重建图像与输入左视图的外观匹配损失的损失函数，为代表重建图像与输入右视图的外观匹配损失的损失函数，为采用左视图计算得到的为了使重建图像在边缘处更为平滑的损失函数，为采用右视图计算得到的为了使右重建图像在边缘处更为平滑的损失函数，为采用左视图计算得到的根据重建图像计算使视差重建网络得到的左右视差趋近一致性的损失函数，为采用右视图计算得到的根据重建图像计算使视差重建网络得到的左右视差趋近一致性的损失函数，a_ap,a_ds,a_lr分别为三个权重。