[发明专利]单目深度估计的方法、装置及电子设备

说明书

本申请实施例提供一种单目深度估计的方法、装置及电子设备，其中，用于深度估计的深度估计模型的训练过程为:将图像样本集中的图像样本输入生成器得到深度图像；将图像样本的相邻帧图像样本输入姿态估计模型，得到旋转平移矩阵；基于深度图像、旋转平移矩阵和单目相机的相机内参重建图像样本得到重建图像；将图像样本和重建图像输入判别器中进行训练，得到判别结果；将判别结果输入生成器进行训练，直至损失函数收敛，将训练好的生成器作为深度估计模型。这种训练过程只需要图像样本，以及由相机内参、旋转平移矩阵和深度图像对图像样本进行重建得到的重建图像训练模型，因此，减少了模型对训练数据的依赖和数据采集制作成本。

技术领域

本发明涉及深度估计技术领域，尤其是涉及一种单目深度估计的方法、装置及电子设备。

背景技术

距离信息是计算机视觉中场景三维重建等一些领域的研究基础，如果能够准确地从场景图像中推理出场景的三维结构，人类和计算机就能理解图像中物体之间的三维关系，从而更好地对场景理解，同时也将极大促进计算机视觉领域多种应用的发展，例如3D电影制作、机器人导航、无人驾驶等。

传统的场景深度估计的视觉算法首先是基于二维图像，以及二维图像对应的深度图像对神经网络模型训练得到深度估计模型，再利用该模型实现对二维图像的深度估计。由于在训练深度估计模型的过程中需要额外的设备或仪器处理二维图像得到深度图像，因此，增加了模型对训练数据的依赖和数据采集制作的成本。

发明内容

有鉴于此，本发明的目的在于提供一种单目深度估计的方法、装置及电子设备，以缓解上述技术问题。

第一方面，本发明实施例提供了一种单目深度估计的方法，其中，该方法包括：获取由单目相机拍摄到的待深度估计的单目场景图像；将单目场景图像输入深度估计模型，得到目标深度图像；其中，深度估计模型通过如下方式训练：将图像样本集中的图像样本输入生成器，得到图像样本对应的深度图像；其中，生成器为多层深度神经网络；将图像样本的相邻帧图像样本输入姿态估计模型，得到图像样本相对于相邻帧图像样本的旋转平移矩阵；其中，姿态估计模型为多层深度神经网络；基于深度图像、旋转平移矩阵和单目相机的相机内参重建图像样本，得到重建图像；将图像样本和重建图像输入判别器中进行训练，得到判别结果；其中，判别器为多层深度神经网络；将判别结果输入生成器进行训练，直至损失函数收敛，得到训练好的生成器；将训练好的生成器作为深度估计模型。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，基于深度图像、旋转平移矩阵和单目相机的相机内参重建图像样本，得到重建图像的步骤，包括：获取图像样本中像素点的像素坐标，以及在深度图像中该像素点的深度值；其中，像素坐标为像素点在图像坐标系下的位置坐标，深度值是指像素点到单目相机的距离值；根据旋转平移矩阵、相机内参、像素坐标和深度值计算图像样本中像素点在相邻帧图像样本的投影坐标；在相邻帧图像样本上使用双线性插值，得到相邻帧图像样本上投影坐标的像素值。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，根据旋转平移矩阵、相机内参、像素坐标和深度值计算图像样本中像素点在相邻帧图像样本的投影坐标的步骤，包括：基于相机内参，像素坐标和深度值计算像素点的物理坐标；其中，物理坐标为像素点在世界坐标系下的位置坐标；根据旋转平移矩阵、相机内参和物理坐标计算像素点的投影坐标。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，通过下式计算物理坐标：W＝K^-1*P*D；其中，W表示物理坐标，K^-1表示相机内参的逆矩阵，P表示像素坐标，D表示深度值。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，通过下式计算投影坐标：T＝K*R*W；其中，T表示投影坐标，K表示相机内参，R表示旋转平移矩阵，W表示物理坐标。