[发明专利]场景结构的学习方法、装置及电子设备

说明书

本发明实施例提供一种场景结构的学习方法、装置及电子设备，该方法包括：获取训练样本集，训练样本集包括每个场景的多个连续的图像帧；将多个连续的图像帧输入至训练模型中，得到训练模型输出的预测深度信息和预测语义信息，其中，训练模型至少包括深度估计网络和语义分割网络；根据深度估计网络的第一损失函数和语义分割网络的第二损失函数，对训练模型进行训练，得到训练后的模型；其中，第一损失函数是根据预测深度信息和预测语义信息确定的；该方法实现了端到端的训练过程，提高了训练模型的场景结构的识别准确性；另外，在对场景深度信息进行预测时，还将场景的语义信息作为先验信息，进一步提高了训练模型的场景结构的识别准确性。

技术领域

本发明实施例涉及人工智能技术领域，尤其涉及一种场景结构的学习方法、装置及电子设备。

背景技术

语义分割是人工智能领域的一个重要分支，是机器视觉技术中关于图像理解的重要一环。语义分割是机器自动分割并识别出图像中的内容，是理解图像的基础。语义分割在自动驾驶系统、无人机应用中具有重要意义。例如：在自动驾驶技术中，在车载摄像头探测到行人、车辆、树木和电线杆等障碍物后，通过对图像进行语义分割，提示驾驶员采取相应的避让措施。在无人机技术中，在无人机上安装摄像头，无人机通过拍摄周边环境，利用语义分割技术对环境中的建筑物、植物、道路等进行分割，从而判断着陆点。

对图像进行语义分割的过程，就是对图像中的场景结构进行分割和识别的过程。现有技术中，对图像中的场景结构进行分割和识别时，通常采用运动恢复结构(Structurefrom motion)的方法，即通过分析图像序列得到相机参数并进行三维重建的技术。具体包括：对图像进行特征提取，根据提取的特征估计场景的初始结构和相机运动，然后对相机进行标定，得到场景的稠密描述，从而推理得到场景中的几何结构、深度等信息。

然而，上述的现有技术，对场景结构识别准确率较低。

发明内容

本发明实施例提供一种场景结构的学习方法、装置及电子设备，用以提高场景结构的识别准确率。

第一方面，本发明实施例提供一种场景结构的学习方法，包括：

获取训练样本集，所述训练样本集包括每个场景的多个连续的图像帧；

将所述多个连续的图像帧输入至训练模型中，得到所述训练模型输出的预测深度信息和预测语义信息，其中，所述训练模型至少包括深度估计网络和语义分割网络；

根据所述深度估计网络的第一损失函数和所述语义分割网络的第二损失函数，对所述训练模型进行训练，得到训练后的模型；其中，所述第一损失函数是根据所述训练模型输出的预测深度信息和预测语义信息确定的。

可选的，所述根据所述深度估计网络的第一损失函数和所述语义分割网络的第二损失函数，对所述训练模型进行训练之前，所述方法还包括：

根据所述图像帧的真实深度信息、真实语义信息、所述预测深度信息以及所述预测语义信息确定所述第一损失函数；

根据所述语义分割网络的交叉熵损失确定第二损失函数。

可选的，所述根据所述图像帧的真实深度信息、真实语义信息、所述预测深度信息以及所述预测语义信息确定所述第一损失函数，包括：

根据所述训练模型输出的预测深度信息和所述图像帧的真实深度信息，获取第一损失子函数；

根据相邻两个图像帧之间的重投影误差，获取第二损失子函数；

根据所述训练模型输出的预测语义信息和所述图像帧的真实语义信息，获取第三损失子函数；

根据所述第一损失子函数、所述第二损失子函数以及所述第三损失子函数确定所述第一损失函数。

可选的，所述根据相邻两个图像帧之间的重投影误差，获取第二损失子函数，包括：