[发明专利]场景结构的学习方法、装置及电子设备

权利要求书

1.一种场景结构的学习方法，其特征在于，包括：

获取训练样本集，所述训练样本集包括每个场景的多个连续的图像帧；

将所述多个连续的图像帧输入至训练模型中，得到所述训练模型输出的预测深度信息和预测语义信息，其中，所述训练模型至少包括深度估计网络和语义分割网络；

根据所述深度估计网络的第一损失函数和所述语义分割网络的第二损失函数，对所述训练模型进行训练，得到训练后的模型；其中，所述第一损失函数是根据所述训练模型输出的预测深度信息和预测语义信息确定的。

2.根据权利要求1所述的方法，其特征在于，所述根据所述深度估计网络的第一损失函数和所述语义分割网络的第二损失函数，对所述训练模型进行训练之前，所述方法还包括：

根据所述图像帧的真实深度信息、真实语义信息、所述预测深度信息以及所述预测语义信息确定所述第一损失函数；

根据所述语义分割网络的交叉熵损失确定第二损失函数。

3.根据权利要求2所述的方法，其特征在于，所述根据所述图像帧的真实深度信息、真实语义信息、所述预测深度信息以及所述预测语义信息确定所述第一损失函数，包括：

根据所述训练模型输出的预测深度信息和所述图像帧的真实深度信息，获取第一损失子函数；

根据相邻两个图像帧之间的重投影误差，获取第二损失子函数；

根据所述训练模型输出的预测语义信息和所述图像帧的真实语义信息，获取第三损失子函数；

根据所述第一损失子函数、所述第二损失子函数以及所述第三损失子函数确定所述第一损失函数。

4.根据权利要求2所述的方法，其特征在于，所述根据相邻两个图像帧之间的重投影误差，获取第二损失子函数，包括：

根据所述深度估计网络输出的预测深度信息，获取每一帧图像对应的三维点云；

根据每一帧图像对应的三维点云，得到所述场景的三维点云；

根据所述场景的三维点云和所述预测语义信息，得到场景中的结构的三维点云；

根据所述场景中的结构的三维点云在平面上的投影分布方差，得到第二损失函数。

5.根据权利要求1所述的方法，其特征在于，所述根据所述深度估计网络的第一损失函数和所述语义分割网络的第二损失函数，对所述训练模型进行训练，得到训练后的模型，包括：

根据所述第一损失函数和所述第二损失函数，获取整体损失函数；

根据所述整体损失函数对所述训练模型进行训练，在所述整体损失函数的值达到预设条件时停止训练，得到训练后的模型。

6.根据权利要求5所述的方法，其特征在于，所述预设条件为相邻两次训练对应的整体损失函数的值的差值小于预设值。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述训练模型为深度神经网络。

8.一种场景结构的学习装置，其特征在于，包括：

第一获取模块，用于获取训练样本集，所述训练样本集包括每个场景的多个连续的图像帧；

第二获取模块，用于将所述多个连续的图像帧输入至训练模型中，得到所述训练模型输出的预测深度信息和预测语义信息，其中，所述训练模型至少包括深度估计网络和语义分割网络；

训练模块，用于根据所述深度估计网络的第一损失函数和所述语义分割网络的第二损失函数，对所述训练模型进行训练，得到训练后的模型；其中，所述第一损失函数是根据所述训练模型输出的预测深度信息和预测语义信息确定的。

9.一种电子设备，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，

所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至7任一项所述的方法。