[发明专利]使用栅格光图案的深度感测

说明书

在一个实施例中，一种系统包括：第一投影仪，其被配置为投影具有一个或更多个第一投影照明特征的第一投影图案；第二投影仪，其被配置为投影具有一个或更多个第二投影照明特征的第二投影图案；相机，其被配置为捕获包括分别与第一投影图案和第二投影图案的反射对应的第一检测图案和第二检测图案的图像；以及一个或更多个处理器，其被配置为：通过将第一检测图案和第二检测图案的检测到的照明特征与第一投影照明特征和第二投影照明特征进行比较，来识别图像中与第一投影图案和第二投影图案中的至少一个投影图案中的投影点对应的检测到的点，并且基于投影点、检测到的点以及相机和至少一个投影仪之间的相对定位来计算与检测到的点相关联的深度。

技术领域

本公开总体上涉及结构光，尤其涉及使用结构光图案来确定深度的系统和方法。

背景

增强现实(AR)系统可以用感官效果来增强现实世界的环境，从而为用户提供增强的体验。AR系统可以使用诸如相机和头戴式显示器的设备将虚拟对象与现实世界环境相结合。AR系统的组件(例如，头戴式显示器)可以与主计算机系统、移动设备或计算系统或能够向一个或更多个用户提供AR内容的任何其他硬件平台连接和/或联网。

AR系统中的一个挑战是准确确定现实环境中物理对象的定位，以便能够显示虚拟对象，并且可以基于物理和虚拟对象的位置向用户提供触觉反馈。深度感测可以在AR系统中实现，以确定物理对象的定位，从而提供现实世界环境的映射。从传感器(诸如相机)到场景中的对象的距离可以使用结构光扫描来确定，这包括将光图案投射到场景上。传感器可以用于捕获图案的反射，并且到对象的距离可以通过分析反射来确定。反射可能由于场景中对象的形状而失真，并且到场景中对象表面上的点的距离可以基于传感器检测到的图案失真来计算。所计算的距离可用于构建深度图，该深度图可将距离与场景图像中的每个像素相关联，以表示场景中对象的三维表面。深度图可以用在AR应用中，并且可以由具有光投影仪和相机的设备(诸如移动电话、AR眼镜、AR头戴式装置等)生成。

特定实施例概述

本文描述的特定实施例涉及使用结构光的深度感测。在各种实施例中，深度感测系统可以包括一个或更多个投影仪和检测器。投影仪可以将已知图案的结构光发射到环境中，并且检测器可以检测发射的光从环境中的对象的反射。反射可用于计算环境中对象的深度信息。例如，可以通过对发射光和检测到的反射光进行三角测量来生成表示环境中对象的三维特征的深度图。

在一个实施例中，具有相机和两个投影仪的深度感测系统可以将栅格光图案投射到环境中，并且基于栅格光图案的反射来计算环境中对象的位置。栅格光图案可以具有一个或更多个投影照明(lighting)特征，例如特定的照明强度或线间距，并且相机可以捕获包括检测到的图案的图像。该系统可以通过将检测到的图案的检测到的照明特征与投影的照明特征进行比较来识别图像中与至少一个投影图案中的投影点对应的检测到的点(detected point)，并且基于投影点、检测到的点以及在相机和至少一个投影仪之间的相对定位来计算与检测到的点相关联的深度。

本发明的实施例可以包括人工现实系统或结合人工现实系统来被实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality，MR)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与捕获的内容(例如，现实世界的照片)相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或其某种组合，且其中任何一个都可以在单个通道中或在多个通道中被呈现(例如向观众产生三维效果的立体视频)。另外，在一些实施例中，人工现实可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合例如用于在人工现实中创建内容和/或在人工现实中使用(例如，在人工现实中执行活动)。可以在各种平台(包括连接到主计算机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统、或者能够向一个或更多个观众提供人工现实内容的任何其他硬件平台)上实现提供人工现实内容的人工现实系统。