[发明专利]模型训练方法、图像深度预测方法及装置、设备、介质

权利要求书

1.一种模型训练方法，其特征在于，包括：

获取参考图像对应的训练标签，并获取所述参考图像的辅助信息；

利用辅助编码器对所述参考图像以及所述辅助信息进行特征提取确定辅助预测结果，并基于实际编码器对所述参考图像进行特征提取确定实际预测结果；

根据所述辅助预测结果、所述实际预测结果以及所述训练标签对所述辅助编码器以及所述实际编码器进行交替训练，并对解码器进行训练获取深度估计模型。

2.根据权利要求1所述的模型训练方法，其特征在于，所述利用辅助编码器对所述参考图像以及所述辅助信息进行特征提取确定辅助预测结果，并基于实际编码器对所述参考图像进行特征提取确定实际预测结果，包括：

将所述参考图像以及所述辅助信息输入至辅助编码器进行特征提取获取辅助特征谱，并对所述辅助特征谱进行解码以进行深度预测得到所述辅助预测结果；

将所述参考图像输入至实际编码器进行特征提取获取实际特征谱，并对所述实际特征谱进行解码得到所述实际预测结果。

3.根据权利要求1所述的模型训练方法，其特征在于，所述根据所述辅助预测结果、所述实际预测结果以及所述训练标签对所述辅助编码器以及所述实际编码器进行交替训练，并对解码器进行训练获取深度估计模型，包括：

基于所述辅助预测结果以及训练标签计算辅助损失函数，并通过所述辅助损失函数对所述辅助编码器的模型参数以及解码器的模型参数进行调整，以训练所述辅助编码器和所述解码器；

结合所述实际预测结果、训练标签以及辅助特征计算实际损失函数，并通过所述实际损失函数对所述实际编码器的模型参数以及所述解码器的模型参数进行调整，训练所述实际编码器和所述解码器；

忽略训练好的辅助编码器，并根据训练好的实际编码器以及训练好的解码器确定所述深度估计模型。

4.根据权利要求3所述的模型训练方法，其特征在于，所述结合所述实际预测结果、训练标签以及辅助特征计算实际损失函数，包括：

根据所述实际预测结果和所述训练标签确定第一损失函数；

根据所述辅助特征和所述实际特征计算第二损失函数；

将所述第一损失函数和所述第二损失函数进行合并，得到所述实际损失函数。

5.根据权利要求2所述的模型训练方法，其特征在于，所述辅助编码器对应的辅助特征谱与所述实际编码器对应的实际特征谱的尺寸相同。

6.一种图像深度预测方法，其特征在于，包括：

将待处理图像输入至深度估计模型中的实际编码器获取实际特征；

根据所述深度估计模型中的解码器对所述实际特征进行解码预测，确定所述待处理图像的预测深度；其中，所述深度估计模型中的实际编码器和所述解码器根据权利要求1-5中任意一项所述的模型训练方法训练得到。

7.一种模型训练装置，其特征在于，包括：

辅助信息获取模块，用于获取参考图像对应的训练标签，并获取所述参考图像的辅助信息；

特征提取模块，用于利用辅助编码器对所述参考图像以及所述辅助信息进行特征提取确定辅助预测结果，并基于实际编码器对所述参考图像进行特征提取确定实际预测结果；

交替训练模块，用于根据所述辅助预测结果、所述实际预测结果以及所述训练标签对所述辅助编码器以及所述实际编码器进行交替训练，并对解码器进行训练获取深度估计模型。

8.一种图像深度预测装置，其特征在于，包括：

特征获取模块，用于将待处理图像输入至深度估计模型中的实际编码器获取实际特征；

深度估计模块，用于根据所述深度估计模型中的解码器对所述实际特征进行解码预测，确定所述待处理图像的预测深度；其中，所述深度估计模型中的实际编码器和所述解码器根据权利要求1-5中任意一项所述的模型训练方法训练得到。