[发明专利]用于手持式用户设备的增强现实的运动深度

说明书

一种手持式用户设备包括：单目，该单目相机用于捕获局部场景的图像馈送；以及处理器，用于从馈送选择关键帧，并且对来自该馈送的第一图像，使用该第一图像、关键帧以及基于与该第一图像相关联的姿势和与关键帧相关联的姿势的相对姿势来执行立体匹配以生成表示所述第一图像与所述关键帧之间的视差的稀疏视差图。处理器进一步将使用双边求解器算法来从所述视差图确定密集深度图，并且基于所述深度图利用遮挡渲染来处理从馈送的第二图像生成的取景器图像以将一个或者多个虚拟对象并入到所述取景器图像中以生成AR取景器图像。进一步地，处理器将提供所述AR取景器图像以供显示。

背景技术

支持计算的蜂窝电话(“智能电话”)、平板计算机以及其它手持式用户设备越来越多地被用于提供增强现实(AR)体验。这种设备被用作增强世界上的取景器，其中，虚拟内容在设备的相机馈送的顶部上实时呈现。这些便携式装置使用某种形式的六自由度(6DoF)跟踪能力来支持这种AR能力，该某种形式的六自由度(6DoF)跟踪能力仅使用在这些设备的内部找到的典型传感器(诸如，彩色相机和惯性测量单元(IMU))，导致视觉惯性里程计(VIO)和同时定位与地图构建(SLAM)的许多开发。这些开发导致具有AP应用的稀疏6DoF跟踪平台的开发和使用，AP应用创建用户可以在其环境中放置和锁定虚拟对象的错觉。然而，错觉由视觉不一致(诸如，在现实对象与虚拟对象之间的错误的遮挡)的出现而降低。

为了通过更准确的处理遮挡、对虚拟内容的放置以及虚拟-现实世界交互(诸如，虚拟对象与物理对象的碰撞)来实现更现实逼真的沉浸感，基于手持设备的AR应用依赖于在设备处实时生成的密集深度图。然而，在给定计算限制或者传感器限制的情况下，许多手持式装置提供实时的密集深度图通常是不可行的。许多当前可用的手持设备缺少用于深度感测或者使用飞行时间(ToF)传感器或者其它专用的深度传感器的立体相机，并且由于成本、功率和形状因子的考虑，增加这种附加传感器能力的成本和复杂性通常是不可行的。此外，虽然已经开发了利用单目相机的密集且边缘保持的深度图生成技术，但是这些常规技术通常需要专用硬件或者大量计算资源，这些专用硬件或者大量计算资源通常在许多手持式装置上不可用，并且因此，无法令人满意地在许多广泛可用的手持式设备上实施替代用于实时深度图产生的专用深度传感器。

附图说明

通过参考附图，可以理解本公开，并且本公开的许多特征和优点对于本领域的技术人员而言是显而易见的。在不同的附图中使用相同的附图标记指示相似或者相同的项。

图1是示出了根据一些实施例的基于与单目相机传感器配置兼容的实时密集深度图生成过程来将手持式用户设备作为取景器的增强现实(AR)体验提供到AR场景中的过程的示意图。

图2是示出了根据一些实施例的图1的手持式用户设备的示例硬件配置的示意图。

图3是示出了根据一些实施例的用于由手持式用户设备实施的运动深度流水线的示例方法的流程图。

图4是示出了根据一些实施例的运动深度流水线的示意图。

图5是示出了根据一些实施例的来自常规双边求解器的结果与来自平面双边求解器的结果的比较的示意图。

具体实施方式

本公开描述了用于提供运动深度流水线的系统和方法，该运动深度流水线用于即使当手持式用户设备缺少立体相机配置(即，仅具有单目相机)或者具有有限的计算资源(例如，仅具有可用的单个中央处理单元(CPU)核心并且缺乏图形处理器(GPU)的使用)时，也以足够的速率来为这种装置提供密集且低延迟的深度图。所描述的技术能够在具有不同相机传感器的各种不同装置配置上操作，对于该不同的相机传感器，对各种参数(诸如，曝光或者聚焦)的控制可能不可用。即使在相对较差的6DoF跟踪的条件下或者在无纹理的环境中，这些技术也能够以相对较低的延迟与相对较低的计算要求来提供密集深度。