[发明专利]混合现实中的实时合成

说明书

一种系统可以包括：存储器设备，用以存储指令和数据；以及至少一个处理设备，用以执行被存储在存储器设备中的指令，以：接收混合现实视图中的背景图像和要被合成到背景图像上的数字对象，生成针对数字对象的2D边界区域，选择背景图像的处于预定义分辨率的版本，将2D边界区域覆盖在所选择的版本的背景图像上并且沿着2D边界区域的周界获得所选择的版本的像素的一组颜色样本，以及至少部分地基于该组样本来确定针对一个或多个数字光源的值，一个或多个数字光源用以照亮混合现实视图中的数字对象。

技术领域

本公开涉及图像处理，并且更特别地涉及混合现实查看器中的视觉元素和背景图像的实时合成。

背景技术

当在混合现实中将3D对象与真实世界图像集成时，对象通常可以被感知为覆盖，并且不是图像中描绘的真实世界的一部分。因此，3D对象常常显得不亮或静止，这打破了该对象是真实世界环境的一部分的幻想。

发明内容

本公开描述了一种将数字对象动态合成到背景图像上的系统和方法。示例性系统可以包括：存储器设备，用以存储指令和数据；以及至少一个处理设备，用以执行被存储在该存储器设备中的指令，以接收背景图像和数字对象，该数字对象要在混合现实视图中被合成到背景图像上。至少一个处理设备还可以针对数字对象生成2D边界区域，选择处于预定义的分辨率的背景图像的版本，以及将2D边界区域覆盖在所选择的版本上，并且沿着2D边界区域的周界获得所选择版本的像素的颜色的一组样本。至少一个处理设备还可以至少部分地基于该组样本来确定针对用以照亮混合现实视图中的该数字对象的一个或多个数字光源的值。

示例性方法可以包括：接收混合现实视图中的背景图像和要被合成到背景图像上的数字对象，针对该数字对象生成2D边界区域，选择处于预定义的分辨率的背景图像的版本，将2D边界区域覆盖在背景图像的所选择的版本上，并且沿着2D边界区域的周界获得所选择版本的像素的颜色的一组样本，以及至少部分地基于该组样本来确定针对用以照亮混合现实视图中的数字对象的一个或多个数字光源的值。

示例性计算机可读存储介质可以包括指令，该指令在由一个或多个处理设备执行时，使一个或多个处理设备接收背景图像和数字对象，该数字对象要在混合现实视图中被合成到背景图像上。该指令在被执行时还可以使一个或多个处理设备生成针对数字对象的2D边界区域，选择处于预定义的分辨率的背景图像的版本，以及将2D边界区域覆盖在所选择的版本上，并且沿着2D边界区域的周界获得所选择版本的像素的颜色的一组样本。该指令在被执行时还可以使一个或多个处理设备至少部分地基于该组样本来确定针对用以照亮混合现实视图中的数字对象的一个或多个数字光源的值。

附图说明

本专利或申请文件包含至少一幅以颜色执行的附图。在请求和支付必要的费用后，专利局将提供具有(多幅)彩色附图的本专利或专利申请公开的副本。

本公开描述了结合以下附图可以理解和完全了解的各种实施例：

图1示意性地图示了根据各种实施例的示例系统。

图2图示了根据各种实施例的示例对象和该对象将被合成到其中的示例视频帧。

图3图示了根据各种实施例的在被合成之后的图2的示例对象和视频帧。

图4A进一步图示了根据各种实施例的示例混合现实查看器的相机的透视图，并且图4B图示了示例3D对象与相机所捕获的示例视频帧的合成视图。

图5图示了根据各种实施例的用于要被合成在混合现实视图中的对象的示例光装备(light rig)。

图6A从俯视或“鸟瞰”的视点图示了如图5所图示的放置3D对象的光装备和3D空间。

图6B是图6A的3D空间的侧视图。

图7A图示了根据各种实施例的示例3D对象的局部照明的透视图，并且图7B图示了其前视图。