[发明专利]从现实世界材料自动生成虚拟材料

权利要求书

1.一种用于在增强现实环境内生成并控制虚拟对象的电子设备，包括：

一个或多个处理器，所述一个或多个处理器获得现实世界对象的一部分的一个或多个图像并获得所述现实世界对象的三维模型，所述一个或多个图像包括彩色图像和深度图像，所述一个或多个处理器基于来自所述深度图像的深度信息用从所述彩色图像内的像素值导出的内插像素值来更新所述彩色图像的至少一部分，所述一个或多个处理器标识所述一个或多个图像内的一个或多个镜面反射并使用所述现实世界对象的所述一个或多个图像和所述三维模型来生成纹理范例，所述一个或多个处理器从所述彩色图像和所述深度图像生成所述纹理范例以使得所述一个或多个镜面反射被从所述纹理范例中基本上移除，所述一个或多个处理器将所述纹理范例生成为使得由所述现实世界对象的弯曲表面引起的失真被校正，所述一个或多个处理器将虚拟对象的图像渲染为使得所述虚拟对象表现为至少部分地覆盖有与所述纹理范例相对应的虚拟材料，所述一个或多个处理器实时地生成所述纹理范例并渲染所述虚拟对象的图像；以及

与所述一个或多个处理器通信的显示器，所述显示器显示经渲染的图像。

2.如权利要求1所述的电子设备，其特征在于：

所述一个或多个处理器使用来自所述深度图像的深度信息来标识所述彩色图像内不作为所述现实世界对象的一部分的一个或多个像素值，并用从所述彩色图像内作为所述现实世界对象的一部分的其他像素值导出的内插像素值来更新所述彩色图像内不作为所述现实世界对象的一部分的所述一个或多个像素值。

3.如权利要求1所述的电子设备，其特征在于：

所述一个或多个处理器使用纹理合成技术来渲染所述虚拟对象的图像。

4.如权利要求1所述的电子设备，其特征在于：

所述电子设备包括头戴式显示设备；以及

所述显示器包括透视显示器。

5.如权利要求4所述的电子设备，其特征在于：

所述一个或多个处理器使得使用所述透视显示器来显示虚拟相机取景器，并获得所述一个或多个图像中与所述虚拟相机取景器相对应的第一图像。

6.如权利要求1所述的电子设备，其特征在于：

所述一个或多个处理器确定所述现实世界对象的定向，并基于所述现实世界对象的所述定向来生成所述纹理范例。

7.如权利要求1所述的电子设备，其特征在于：

所述纹理范例包括描绘所述虚拟材料的二维纹理图像。

8.一种用于使用移动设备在增强现实环境内生成并控制虚拟对象的方法，包括：

使用所述移动设备来捕捉现实世界对象的一部分的一个或多个图像，所述一个或多个图像包括彩色图像和深度图像；

获得所述现实世界对象的三维模型；

基于来自所述深度图像的深度信息用从所述彩色图像内的像素值导出的内插像素值来更新所述彩色图像的至少一部分；

标识所述一个或多个图像内的一个或多个镜面反射；

使用所述现实世界对象的所述彩色图像和所述深度图像以及所述三维模型来生成纹理范例，所述纹理范例被生成为使得所述一个或多个镜面反射被从所述纹理范例中基本上移除；以及

使用所述移动设备来渲染并显示虚拟对象的图像，使得所述虚拟对象表现为至少部分地覆盖有与所述纹理范例相对应的虚拟材料，

其中所述生成所述纹理范例以及所述渲染并显示所述虚拟对象的图像是由所述移动设备实时地执行的。

9.如权利要求8所述的方法，其特征在于：

所述生成纹理范例包括使用所述现实世界对象的所述三维模型来解除变形所述一个或多个图像，使得由所述现实世界对象的弯曲表面引起的失真被校正。