[发明专利]基于深度神经网络提供单目图像深度估计的系统和方法

说明书

本文提供了一种用于确定图像的深度信息的方法和系统。根据一个实施例，该方法包括：接收输入图像，将输入图像归类到多个深度范围中的一深度范围，以及基于输入图像被归类到的深度范围通过应用深度估计来确定图像的深度图。

优先权

本申请是基于2019年4月9日向美国专利商标局提交的美国临时专利申请第62/831,598号和2019年9月18日提交的美国专利申请第16/574,770号，并要求其优先权，其全部内容通过引用结合于此。

技术领域

本公开通常涉及计算机视觉。具体地，本公开涉及基于深度神经网络提供单目图像深度估计的系统和方法。

背景技术

单目图像深度估计(Single image depth estimation，SIDE)是用于理解图像中的场景的几何结构的重要部分。具体地，深度图(depth map)可以用于推断三维(three-dimensional，3D)结构，其是3D视觉中许多论题(诸如图像重建、图像渲染和浅景深)的基本元素。然而，SIDE是个问题，因为单目二维(two-dimensional，2D)图像可以从无限多个不同的3D场景中产生。通过使用深度卷积神经网络(convolutional neural network，CNN)，基于深度学习的方法在解决诸如学习将图像映射到连续深度图的CNN的SIDE问题时已经实现了性能改进。

对捕获的场景中的元素的真实世界深度的估计具有应用，诸如将前景(近)对象与背景(远)对象分离的能力。准确的深度估计允许场景中感兴趣的前景对象与背景分离。准确的前景-背景分离允许人们处理捕获的图像来模拟诸如Bokeh效果的效果。Bokeh是背景的柔和离焦模糊(out-of-focus blur)，其通过使用具有快速镜头和宽光圈的相机中的正确设置以及使相机更靠近主题并使主题更远离背景以模拟浅景深来掌握。因此，准确的深度估计允许处理来自非专业摄影师或具有较小镜头的相机(诸如，移动电话相机)的图像，以获得聚焦于主题的具有Bokeh效果的在审美上更讨人喜欢的图像。准确的深度估计的其他应用包括3D对象重建和虚拟现实应用，在这些应用中希望改变背景或主题，并根据希望的虚拟现实来渲染它们。从捕获的场景进行准确的深度估计的其他应用包括汽车自动化、监控相机、自动驾驶应用、以及通过改进对象检测准确度和其与相机距离的估计来增强安全性。

在设计用于SIDE的深度CNN时存在两个问题。SIDE方法可以针对个体数据集训练不同的网络，这使得模型特定于某些领域。结果，诸如室内和室外模式的不同数据集之间的巨大差异限制了SIDE网络的泛化能力。在一个数据集上实现可观性能的模型在另一数据集上将表现不佳。

此外，现有的SIDE网络利用非常深的架构作为主干。这些网络的规模非常大。此外，一些SIDE网络包含完全连接的层。因此，在预测期间需要滑动窗口策略，以使测试图像尺寸与训练相同。结果，这种网络的效率和灵活性并不是希望的。

发明内容

根据一个实施例，一种方法包括：接收输入图像，将输入图像归类到多个深度范围中的一深度范围，以及基于输入图像被归类到的深度范围，通过应用深度估计来确定图像的深度图。

根据一个实施例，一种系统包括：存储器和处理器，该处理器被配置成：接收输入图像，将输入图像归类到多个深度范围中的一深度范围，并且基于输入图像被归类到的深度范围，通过应用深度估计来确定图像的深度图。

附图说明

结合附图，从以下详细描述中，本公开的某些实施例的以上和其他方面、特征以及优点将变得更加明显，附图中：

图1示出根据实施例的演示Bokeh效果的图像的图；

图2示出根据实施例的使用室内网络和室外网络的深度估计的图；

图3示出根据实施例的提供深度估计的图；