[发明专利]基于单张图像的多任务增强的深度估计系统

说明书

本发明的目的针对基于单张图像的深度估计误估计严重和数据不足，精度低等问题，提出了基于图像分割和图像深度估计双任务的深度学习模型的深度估计系统。该系统包括：对带深度信息的样本，带分割信息的样本，带深度和分割信息样本的预处理；构建双任务深度学习网络；交替训练，之后微调网络，完成训练。提高深度估计的精度。

技术领域

本发明涉及图像处理，深度学习，尤其涉及一种基于单张图像的多任务增强的深度估计系统。

背景技术

随着计算机技术的显著发展，图像处理技术能够在越来越多的方面发挥作用。图片的深度信息估计是许多视觉任务的基础，例如三维重建，机器人感知领域，自动驾驶的距离等等方面。图像的深度信息估计的精度影响着视觉任务的精度。目前对深度信息的估计研究是从多个方入手的，有基于摄相头参数的图像深度估计，有基于深度摄像头的深度估计，有基于多目图像的深度估计，有基于连续图像序列的图像估计，更有基于单张的图像的深度估计。本文主要提出一种基于单张图片的深度估计。基于单张图像的深度估计有着其他方法不可忽视的优势。该方法需要的硬件设备简单，需要的图像少等优点。

但是该方法目前相对其他方法存在以下问题，精度低，深度估计难度大，数据需求大，误估计严重等问题。针对这些问题，本文公开一种基于分割和深度估计双任务的深度学习模型，能够有效数据不足问题和误估计严重问题，并改善精度低问题。由于单张图像的深度估计问题和分割问题有着相似的任务，并且图像中同一个物体在深度上属于同一个数量级上，所以将图像深度估计和图像分割结合起来，相互学习，公用特征，能够有效的增强误估计的问题。再者现有图像分割的数据大，能够弥补图像深度估计数据不足的问题，提升特征层的效果。因此基于分割和深度估计双任务的深度学习模型能够在单张图像的深度估计任务上取得更好的效果。

发明内容

本发明的目的针对单张图像的深度估计误估计严重和数据不足，精度低等问题，提出了基于图像分割和图像深度估计双任务的深度学习模型的深度估计系统。

为了实现上述目的，本发明采用的技术方案是：

本发明公开了一种基于单张图像的多任务增强的深度估计系统，具体的实现步骤如下：

(1)对带深度标签图片和带有分割标签的图片和带有深度标签和分割标签的图片，进行预处理，得到训练样本和验证样本。

(2)构建双任务模型，利用(1)中得到的训练样本，间隔着用带有深度标签的图片和带有分割标签的图片对网络进行训练，得到训练好的模型。

(3)利用带有深度标签和分割标签的数据对(2)训练得到的模型进行微调，得到最后的模型。

(4)对带有深度标签的测试图片按照(1)中的预处理方法，得到处理后的测试图片。

(5)利用(3)中训练好的网络，预测(4)中处理后的预测图片，得到预测结果。

所述步骤(1)中的对带深度信息和带分割信息的图片的预处理步骤如下：

(11)对样本库中带有分割标签的图片，进行左右翻转，一定比例的拉伸的数据增强，对所有图片都进行改变对比度，饱和度，光照的数据增强，和随机裁剪，得到数据增强后图片，将其按照一定比例分成训练样本和验证样本，样本大小是224×224。

(12)对带分割标签的图片的分割标签进行如(11)中的左右翻转和一定比例的拉伸，保持与图片的形变的一致，对所有被裁剪的图片的标签进行与图片一致的裁剪。

(13)用(12)中的数据增强后的带分割标签的图片和带深度信息的图片分别进行归一化，得到可训练样本和验证样本。

所述步骤(2)中的构建网络和训练的步骤如下：