[发明专利]图像深度估计的方法和装置

说明书

提供了一种图像深度估计的方法和装置。该方法包括：基于通过将输入图像应用于神经网络而获得的输出数据的第一通道，来获得与输入图像中包括的多个像素中的每个像素的深度相关联的第一统计值；基于输出数据的第二通道来获得与输入图像中的多个像素中的每个像素的深度相关联的第二统计值；以及，基于第一统计值和第二统计值来估计输入图像中的多个像素中的每个像素的深度信息。可以基于图像中的每个像素的深度的概率分布来训练神经网络，该概率分布基于与训练数据中的具有预定深度信息的图像相对应获得的第一统计值和第二统计值。

相关申请的交叉引用

本申请要求于2020年7月29日在韩国知识产权局递交的韩国专利申请No.10-2020-0094598的优先权，其全部公开内容通过引用合并于此以用于所有目的。

技术领域

以下描述涉及图像深度估计的方法和装置。

背景技术

图像的深度信息可以包括与相机与对象之间的距离有关的信息。理解几何结构(例如，消失点(vanishing point)的位置或水平边界)可以用于理解场景，例如，用于分析对象的位置或对象之间的三维(3D)关系。

人们可以通过视差(即，对象的位移)对双眼所看到的到对象的距离产生印象或了解。通过这样的原理，通过由计算机使用x轴(即，水平轴)上的不同位置的两个相机捕获的立体图像考虑两个二维(2D)图像的视差，可以计算地估计出图像中的对象的深度信息。换言之，通常可以基于两个相机在不同位置捕获的两个图像之间的几何关系来获得图像的深度信息。然而，使用立体图像的深度估计技术需要两个图像，并且在先前的计算方法中需要用于匹配两个图像的操作。

发明内容

提供本发明内容以便以简化的形式介绍构思的选择，下面会在具体实施方式中进一步描述这些构思。本发明内容并非意在标识所请求保护的主题的关键特征或基本特征，也并非意在帮助确定所请求保护的主题的范围。

在一个总体方面中，一种图像深度估计的装置包括：相机，被配置为捕获输入图像；以及一个或多个处理器，被配置为：将输入图像应用于神经网络，获得与输入图像中包括的像素的深度相关联的第一统计值，获得与输入图像中包括的另一像素的深度相关联的另一第一统计值，获得与输入图像中包括的像素的深度相关联的第二统计值，获得与输入图像中包括的另一像素的深度相关联的另一第二统计值，基于第一统计值和第二统计值来估计输入图像中包括的像素的深度信息，基于另一第一统计值和另一第二统计值来估计输入图像中包括的另一像素的深度信息，其中，第一统计值和另一第一统计值具有相同的第一统计值类型，并且第二统计值和另一第二统计值具有相同的第二统计值类型，第二统计值类型与第一统计值类型不同。

第二统计值可以表示第一统计值的置信度，并且另一第二统计值可以表示另一第一统计值的置信度。

第二统计值可以是输入图像中包括的像素的深度值的标准偏差或方差，并且另一第二统计值可以是输入图像中包括的另一像素的深度值的标准偏差或方差。

一个或多个处理器还可以被配置为：根据由第二统计值表示的置信度选择性地对第一统计值进行校正，根据由另一第二统计值表示的置信度选择性地对另一第一统计值进行校正。

一个或多个处理器还可以被配置为：根据参考图像来生成重构的输入图像，所述生成取决于第一统计值、第二统计值、另一第一统计值和另一第二统计值；以及，基于所生成的重构的输入图像与输入图像的比较结果来训练神经网络。

第一统计值和另一第一统计值可以从由神经网络作为第一通道输出的具有第一统计值和另一第一统计值的图像信息中获得，并且第二统计值和另一第二统计值可以从由神经网络作为第二通道输出的具有第二统计值和另一第二统计值的图像信息中获得。