[发明专利]单目深度估计的方法、装置及电子设备

权利要求书

1.一种单目深度估计的方法，其特征在于，所述方法包括：

获取由单目相机拍摄到的待深度估计的单目场景图像；

将所述单目场景图像输入深度估计模型，得到目标深度图像；其中，所述深度估计模型通过如下方式训练：

将图像样本集中的图像样本输入生成器，得到所述图像样本对应的深度图像；其中，所述生成器为多层深度神经网络；

将所述图像样本的相邻帧图像样本输入姿态估计模型，得到所述图像样本相对于相邻帧图像样本的旋转平移矩阵；其中，所述姿态估计模型为多层深度神经网络；

基于所述深度图像、旋转平移矩阵和所述单目相机的相机内参重建所述图像样本，得到重建图像；

将所述图像样本和所述重建图像输入判别器中进行训练，得到判别结果；其中，所述判别器为多层深度神经网络；

将所述判别结果输入所述生成器进行训练，直至损失函数收敛，得到训练好的生成器；

将训练好的生成器作为所述深度估计模型。

2.根据权利要求1所述的方法，其特征在于，基于所述深度图像、旋转平移矩阵和所述单目相机的相机内参重建所述图像样本，得到重建图像的步骤，包括：

获取所述图像样本中像素点的像素坐标，以及在所述深度图像中该像素点的深度值；其中，所述像素坐标为像素点在图像坐标系下的位置坐标，所述深度值是指像素点到所述单目相机的距离值；

根据旋转平移矩阵、相机内参、像素坐标和深度值计算所述图像样本中像素点在相邻帧图像样本的投影坐标；

在所述相邻帧图像样本上使用双线性插值，得到相邻帧图像样本上投影坐标的像素值。

3.根据权利要求2所述的方法，其特征在于，根据旋转平移矩阵、相机内参、像素坐标和深度值计算所述图像样本中像素点在相邻帧图像样本的投影坐标的步骤，包括：

基于所述相机内参，所述像素坐标和所述深度值计算所述像素点的物理坐标；其中，所述物理坐标为像素点在世界坐标系下的位置坐标；

根据所述旋转平移矩阵、所述相机内参和所述物理坐标计算所述像素点的投影坐标。

4.根据权利要求3所述的方法，其特征在于，通过下式计算所述物理坐标：

W＝K^-1*P*D；

其中，W表示所述物理坐标，K^-1表示所述相机内参的逆矩阵，P表示所述像素坐标，D表示所述深度值。

5.根据权利要求3所述的方法，其特征在于，通过下式计算所述投影坐标：

T＝K*R*W；

其中，T表示所述投影坐标，K表示所述相机内参，R表示所述旋转平移矩阵，W表示所述物理坐标。

6.根据权利要求1所述的方法，其特征在于，所述损失函数包括：生成器损失函数和重建损失函数；

所述重建损失函数为：

其中，表示多尺度结构相似性指数，α表示超参数，取值范围为(0，1)；

其中，

表示尺度为j的结构相似性指数；

其中，表示所述图像样本集中第t个图像样本的均值，表示所述图像样本集中第t个图像样本的的方差，表示第t个图像样本和第t个重建图像的协方差，c₁和c₂表示稳定常数，L表示像素值的动态范围，k₁为常数(k₁＝0.01)，k₂为常数(k₂＝0.03)；

所述生成器损失函数为：

其中，表示所述判别器对所述图像样本集中第t个重建图像的判别结果，E表示期望；λ表示超参数。