[发明专利]用于训练图像处理网络和图像处理的方法和装置

说明书

本公开提供了用于训练图像处理网络和图像处理的方法、装置、电子设备、存储介质和计算机程序产品，涉及人工智能领域，具体为计算机视觉和深度学习技术领域。具体实现方案为：将左图和右图输入双目深度学习网络，输出第一视差图；将第一视差图转换成第一双目预测深度图；计算第一双目预测深度图的可靠区域；将选取的第一样本的左图或右图输入单目深度估计网络，得到第一单目预测深度图；将可靠区域的深度值作为单目深度估计网络的伪监督信息，计算第一单目预测深度图中与可靠区域对应的区域的深度值的第一损失值；若第一损失值小于预定第一阈值，则单目深度估计网络训练完成。该实施方式减少了人工标注量并提高了单双目深度估计的准确性。

技术领域

本公开涉及人工智能领域，尤其涉及计算机视觉和深度学习技术领域，具体为用于训练图像处理网络和图像处理的方法和装置。

背景技术

目前，深度估计首先按照传感器可以分为：单目深度估计与双目深度估计，其次，按照是否有监督，又可以进一步细分为：单目有监督深度估计与单目无监督深度估计，其中单目无监督一般需要借助额外的信息，如前后帧视频序列的姿态信息、光流信息等，双目也可分为双目有监督与双目无监督深度估计。

有监督的方法需要较高的采集标注成本，如室外需要使用激光雷达、室内需要使用结构光/ToF相机等，并实现激光雷达/深度相机与RGB相机的标定与配准。

单目无监督的方法通常需要借助额外的信息，如前后帧视频序列的姿态信息、光流信息等。

发明内容

本公开提供了一种用于训练图像处理网络和图像处理的方法、装置、设备、存储介质以及计算机程序产品。

根据本公开的第一方面，提供了一种用于训练图像处理网络的方法，包括：获取根据预设损失函数训练的双目深度学习网络和样本集，其中，样本集中的样本包括校正好的左图和右图。从样本集中选择第一样本，执行如下第一训练步骤：将选取的第一样本的左图和右图输入双目深度学习网络，输出第一视差图。将第一视差图转换成第一双目预测深度图。计算第一双目预测深度图的可靠区域。将选取的第一样本的左图或右图输入单目深度估计网络，得到第一单目预测深度图。将可靠区域的深度值作为单目深度估计网络的伪监督信息，计算第一单目预测深度图中与可靠区域对应的区域的深度值的第一损失值。若第一损失值小于预定第一阈值，则确定出单目深度估计网络训练完成。

根据本公开的第二方面，提供了一种图像处理方法，包括：获取待识别的图像。若图像为校正好的左图和右图，则将图像输入根据第一方面中任一项的方法训练的双目深度估计网络，得到双目深度估计值。若图像为单图，则将图像输入根据第一方面中任一项的方法训练的单目深度估计网络，得到单目深度估计值。

根据本公开的第三方面，提供了一种用于训练图像处理网络的装置，包括：获取单元，被配置成获取根据预设损失函数训练的双目深度学习网络和样本集，其中，样本集中的样本包括校正好的左图和右图。第一训练单元，被配置成从样本集中选择第一样本，执行如下第一训练步骤：将选取的第一样本的左图和右图输入双目深度学习网络，输出第一视差图。将第一视差图转换成第一双目预测深度图。计算第一双目预测深度图的可靠区域。将选取的第一样本的左图或右图输入单目深度估计网络，得到第一单目预测深度图。将可靠区域的深度值作为单目深度估计网络的伪监督信息，计算第一单目预测深度图中与可靠区域对应的区域的深度值的第一损失值。若第一损失值小于预定第一阈值，则确定出单目深度估计网络训练完成。

根据本公开的第四方面，提供了一种图像处理装置，包括：获取单元，被配置成获取待识别的图像。第一估计单元，被配置成若图像为校正好的左图和右图，则将图像输入由第一方面中任一项的装置训练的双目深度估计网络，得到双目深度估计值。第二估计单元，被配置成若图像为单图，则将图像输入由第一方面中任一项的装置训练的单目深度估计网络，得到单目深度估计值。