[发明专利]用于训练深度神经网络的方法和装置

权利要求书

1.一种用于训练预测深度图的深度神经网络的方法，所述方法包括以下步骤：

针对训练集中的每个训练样本图像，

使用所述深度神经网络根据所述训练样本图像生成相应的估计深度图；

基于所述训练样本图像的训练样本深度图和所述估计深度图计算所述训练样本图像的损失；以及

基于所计算的损失优化所述深度神经网络的参数；

其中，所述损失包括基于所述训练样本深度图中的至少一个平面区域和所述估计深度图中的对应区域的对比计算的损失项；并且

在确定所述损失项时考虑与所述至少一个平面区域有关的附加约束。

2.根据权利要求1所述的方法，还包括通过以下方式从所述训练样本深度图中检测所述至少一个平面区域：计算所述训练样本深度图的多个像素的梯度值，以及基于所述多个像素的梯度值确定所述至少一个平面区域；

其中，所述至少一个平面区域中的每个满足：在该平面区域中，梯度值与指示该平面区域的总体梯度的常数的差的绝对值低于第一阈值的像素的数量的百分比高于第一预定百分比，或者梯度值与指示该平面区域的总体梯度的常数的差的绝对值的平均值低于预定梯度偏差阈值。

3.根据权利要求1所述的方法，还包括通过以下方式从所述训练样本深度图中检测所述至少一个平面区域：计算所述训练样本深度图的多个像素的二阶梯度值，以及基于所述多个像素的二阶梯度值确定所述至少一个平面区域；

其中，所述至少一个平面区域中的每个满足：在该平面区域中，二阶梯度值的绝对值小于第二阈值的像素的数量的百分比高于第二预定百分比，或者二阶梯度值的绝对值的平均值低于预定二阶梯度阈值。

4.根据权利要求1所述的方法，还包括通过以下方式从所述训练样本深度图中检测所述至少一个平面区域：计算所述训练样本深度图的多个像素的梯度值，基于所述多个像素的梯度值和位置进行聚类以得到至少一个聚类，提取每个聚类对应的图像区域中的连通域作为所述至少一个平面区域中的一个平面区域。

5.根据权利要求2至4中的一项所述的方法，其中，所计算的损失项包括通过以下方式确定的针对所述至少一个平面区域中的一个平面区域的局部损失：确定所述训练样本深度图中的该平面区域对应的对应平面的平面参数，基于所述平面参数计算所述估计深度图中与该平面区域对应的所述对应区域内的第一预定数量的三维点与所述对应平面的距离的和或平均值作为所述局部损失。

6.根据权利要求2至4中的一项所述的方法，其中，所计算的损失项包括通过以下方式确定的针对所述至少一个平面区域中的一个平面区域的局部损失：确定所述训练样本深度图中的该平面区域对应的对应平面的法线，计算所述估计深度图中与该平面区域对应的所述对应区域内的第二预定数量的矢量与所述对应平面的法线的内积的绝对值的和或平均值作为所述局部损失。

7.根据权利要求2至4中的一项所述的方法，其中，所计算的损失项包括通过以下方式确定的针对所述至少一个平面区域中的一个平面区域的局部损失：计算所述估计深度图中与该平面区域对应的所述对应区域内的第三预定数量的像素的二阶梯度的绝对值的和或平均值作为所述局部损失。