[发明专利]用于照明混合现实对象的环境合成

说明书

本发明涉及用于照明混合现实对象的环境合成。本文所公开的各种具体实施包括基于CGR环境中的合成来渲染计算机生成现实(CGR)对象的反射表面的设备、系统和方法。为了渲染CGR对象的反射表面，一个示例性具体实施涉及基于所观察到的物理场景的特征来合成表示物理场景的一部分的CGR环境的环境地图。在一种具体实施中，生成完整的环境地图包括识别没有对应纹理的环境地图的像素，并且基于与物理场景的一个或多个相机图像相关联的纹理信息来生成合成纹理。在一种具体实施中，在CGR环境中渲染CGR对象，其中基于CGR环境的完整环境地图来确定CGR对象的反射表面的外观。

相关申请的交叉引用

本申请要求2018年5月22日提交的美国临时申请序列号62/674,690的权益，该申请全文以引用方式并入本文。

技术领域

本公开整体涉及在CGR环境中渲染计算机生成现实(CGR)对象，以及具体地讲，涉及用于在CGR环境中逼真地渲染CGR对象的反射表面的系统、方法和设备。

背景技术

CGR系统所使用的计算机生成现实(CGR)对象通常旨在具有逼真且令人信服的外观。例如，基于物理沙发的CGR沙发可被放置在独立的物理房间中，或者基于物理花瓶的CGR花瓶可被放置在物理桌面上。CGR对象与许多物理对象一样，常常具有反射属性。例如，花瓶的表面可具有包括附近物理对象的镜面反射的外观。为了实现在CGR环境中渲染的此类CGR对象的逼真外观，CGR对象上的反射应准确地反映周围的物理对象。

现有的CGR系统无法显示具有足够精确反射表面的CGR对象。在许多情况中，CGR系统仅具有对特定相机视图或一组有限相机视图的访问权限，因此通常缺少应在CGR对象上的逼真表面中反射的物理对象或周围物理对象的部分的图像。例如，CGR系统可能不具有捕获在相机视场之外的桌子的一部分的图像，该相机视场应该被反射在插入到环境中的CGR花瓶的表面中。

用于生成反射表面的一些现有技术使用环境地图(也称为反射地图)。环境映射或反射映射是一种基于图像的照明技术，用于通过预先计算的纹理图像来近似反射表面的外观。环境地图的纹理通常由用户提供。例如，用户可提供森林的图像以生成将用于在虚拟世界中反射对象的环境地图。然而，使用基于先前捕获的场景的环境地图不能为当前场景中的CGR对象提供逼真的反射，因为当前场景中存在的任何在先前捕获的场景中不存在的对象不会呈现在CGR对象的反射中。

现有的环境映射技术不能为插入物理环境中的CGR对象提供逼真的反射，因为用于生成环境地图的纹理是基于用户提供的独立环境的图像的。纹理，以及因此CGR对象反射不能准确地表示放置CGR对象的CGR环境中的CGR对象周围的桌子、墙壁和其他物理对象。

发明内容

本文所公开的各种具体实施包括基于CGR环境中的环境合成来渲染计算机生成现实(CGR)对象的反射表面的设备、系统和方法。一种示例性具体实施涉及在具有一个或多个处理器和计算机可读存储介质的设备处执行操作。为了渲染CGR对象的反射表面，该设备基于所观察到的物理场景的特征来合成表示真实物理场景的一部分的CGR环境的环境地图。例如，该设备可基于在场景的一个或多个相机图像中观察到的部分表面，确定包括扩展表面的环境地图。该设备基于物理场景的一个或多个相机图像来确定环境地图和/或环境地图的扩展表面的纹理信息(例如，颜色、图案、反射率、辐照度等)。又如，该设备可通过识别环境地图中没有对应纹理的像素并基于所确定的纹理信息生成合成纹理，从而生成CGR环境的包括合成纹理的完整环境地图。