[发明专利]识别人工现实系统中的平面

说明书

在一个实施例中，一种方法包括访问物理世界场景的图像，检测所访问的图像中的多个直线段，识别图像中的第一消失点和第二消失点，其中每个消失点对应于多个直线段的子集，并且其中第一消失点和第二消失点是正交的，识别所访问的图像中的平面区域，该平面区域由与第一消失点相关联的一个或更多个直线段和与第二消失点相关联的一个或更多个直线段来表示，基于与平面区域相关联的一个或更多个属性对与平面区域相关联的虚拟对象进行变换，以及在图像上显示变换后的虚拟对象。

技术领域

本公开一般涉及人工现实系统，尤其涉及识别人工现实系统中的平面表面。

背景

本发明的实施例可以包括人工现实系统或结合人工现实系统来被实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实的形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality，MR)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与捕获的内容(例如，真实世界的照片)相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或其某种组合，且其中任何一个都可以在单个通道中或在多个通道中被呈现(例如向观看者产生三维效果的立体视频)。另外，在一些实施例中，人工现实可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合例如用于在人工现实中创建内容和/或在人工现实中被使用(例如，在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主计算机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。

特定实施例的描述

在特定实施例中，人工现实系统中的计算设备可以基于检测到的直线段来识别图像中的一个或更多个平面，这些直线段按照它们相应的消失点(vanishing point)进行分类。计算设备可能需要将虚拟对象与用户周围的现实混合。为了将虚拟对象与现实混合，计算设备可能需要能够在用户周围的物理世界的图像或一系列图像帧中识别墙壁、地板、天花板和其他物理平面。计算设备可以在物理世界的图像中的所识别的平面上显示虚拟对象。用于识别平面的先前解决方案可能需要立体和/或深度计算，这可能需要两个或更多个照相机(立体)或挥动照相机来模拟具有两个或更多个照相机，例如在同步定位和映射(SLAM)中。本申请中介绍的计算设备可以基于检测到的直线段来识别单个图像中的平面。计算设备可以基于检测到的直线段来检测图像中的多个消失点。消失点是指图像平面上点，在该点处，三维空间中相互平行的线的二维透视投影看起来会聚(converge)。计算设备可以基于对应于两个正交消失点的附近检测到的直线段来识别二维平面区域。计算设备可以将一个或更多个虚拟对象放置在所识别的平面区域上。虚拟对象可以是二维对象或三维对象。

计算设备可以访问物理世界场景的图像。计算设备可以检测所访问的图像中的多个直线段。计算设备可以识别图像中的第一消失点和第二消失点，其中每个消失点对应于多个直线段的子集，其中第一消失点和第二消失点是正交的。计算设备可以基于与第一消失点相关联的一个或更多个直线段和与第二消失点相关联的一个或更多个直线段来识别所访问的图像中的平面区域。计算设备可以基于与平面区域相关联的一个或更多个属性来变换与平面区域相关联的虚拟对象。计算设备可以在图像上显示变换后的虚拟对象。