[发明专利]基于语义信息约束的水下图像相对深度估计方法

说明书

本发明属于计算机视觉领域，具体涉及一种基于语义信息约束的水下图像相对深度估计方法、系统、设备，旨在解决现有的水下图像相对深度估计精度低以及边缘轮廓不明显的问题。本发明方法包括：获取待相对深度估计的单目水下图像，作为输入图像；通过训练好的相对深度图预测模型获取所述输入图像对应的预测深度图，进而得到水下场景的相对深度关系；所述相对深度图预测模型基于编码‑解码结构的深度卷积神经网络构建。本发明提高了水下图像相对深度的估计精度，并提升了深度估计边缘效果。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于语义信息约束的水下图像相对深度估计方法、系统、设备。

背景技术

近年来，由于陆地资源的紧缺，探索和开发海洋资源显得愈发的重要。智能水下机器人在进行水下作业时具有非常高的效率，在海洋资源开发与利用中扮演着不可或缺的角色。其中，对于基于机器人的水下监测、水下作业以及水下视觉导航任务，实现基于单目水下图像的视觉深度估计至关重要，也是保证各类任务安全执行的前提。

因为水下环境具有能见度低，几何畸变等特点，导致对水下环境进行深度估计比陆上环境更加困难。深度信息可以通过立体匹配技术来获取，立体匹配技术利用双目相机采集的两张对应的图片进行相关性匹配和三角测量方法进行深度推断。此外，还可以利用时间飞行(Time-of-Flight, TOF)相机与微软的Kinect相机等专业深度传感装置直接获取深度信息。但是由于水下环境复杂多样，且存在成像限制和光学畸变等问题，这些方法取得的效果相较于陆上环境较差，并且设备昂贵，成本较高，不适用于轻量级的水下移动终端。

随着深度学习的不断发展，深度卷积神经网络由于自身强劲的特征拟合能力，可以通过模型学习的手段，利用单张陆上彩色图像直接估计对应的场景深度信息。但对于水下场景，仍存在不少问题：不同于陆上场景，水下图像的深度标注数据集非常稀少，很难获得实际水下场景的深度图，而现有的深度估计方法大多数是监督型的，需要真实有效的深度图等监督信息进行训练，才能够得到效果较好的深度估计网络。此外，现有的大多数基于深度学习的水下图像深度估计方法预测的深度图中的部分物体的形状轮廓不够明显，边缘细节较差，而且当图像场景中存在明显的深度层次变换时，在相对深度预测图中并没有能够得到直观体现。语义信息与深度信息共享了相似的上下文信息，利用语义信息来对深度估计进行约束，能够在一定程度上解决这些问题，提升深度估计效果。

水下场景光照不足、能见度低，场景极其复杂恶劣，导致水下机器人在进行水下作业时会遇到许多困难，而深度信息能够为场景的立体感知、复杂目标的层次性划分、定位提供丰富的信息。因此，基于语义信息约束的水下图像相对深度估计方法具有非常广阔的应用前景。基于此，本发明提出了一种基于语义信息约束的水下图像相对深度估计方法。

发明内容

为了解决现有技术中的上述问题，即为了解决现有的水下图像相对深度估计精度低，边缘轮廓不明显的问题，本发明提出了一种基于语义信息约束的水下图像相对深度估计方法，该方法包括：

步骤S100，获取待相对深度估计的单目水下图像，作为输入图像；

步骤S200，通过训练好的相对深度图预测模型获取所述输入图像对应的相对深度预测图，进而得到水下场景的相对深度关系；

所述相对深度图预测模型基于编码-解码结构的深度卷积神经网络构建，其训练方法为：

步骤A100，获取带有语义标注的水下图像数据集；所述水下图像数据集中包括水下图像及其对应的语义图；所述水下图像为RGB图像；

步骤A200，对所述水下图像数据集中的水下图像分别进行深度估计、相对深度关系标注，得到基础深度图、相对深度标注图；对所述水下图像数据集中的语义图进行边缘提取、高斯平滑、数据归一化处理，得到语义边缘惩罚因子图；通过数据预处理步骤得到模型的输入数据；