[发明专利]现实世界和虚拟世界图像基于深度和色度信息的合并

权利要求书

1.一种将现实世界物体选择性合并至虚拟环境中的方法，包括：

预扫描一现实世界环境以识别所述现实世界环境中的背景物体；

接收用于一虚拟环境渲染的第一输入、用于现实世界环境渲染的第二输入、以及关于所述现实世界环境渲染的一深度信息；

识别所述现实世界环境渲染的至少一个部分，该部分接近用户、处于一深度范围内且与一基于色度的预定背景区分以及与预扫描所述现实世界环境识别的所述背景物体区分；

应用几何变换将用于所述虚拟环境渲染的所述第一输入、用于所述现实世界环境渲染的所述第二输入、和关于所述现实世界环境渲染的所述深度信息转变成二维图像帧内像素位置；

生成一合并渲染，其包括合并到所述虚拟环境渲染中的所述现实世界环境渲染的所述至少一个部分，并从所述虚拟环境排除所述现实世界环境渲染的至少第二部分，其中，基于与指示所述像素位置的一部分超过深度范围的所述像素位置的该部分相关联的深度信息，排除所述现实世界环境渲染的所述至少第二部分；和

向用户显示所述合并渲染。

2.根据权利要求1所述的方法，其中，用于所述现实世界环境渲染的所述第二输入是从用户角度获得，以及所述深度范围定义为相对所述用户测量的一距离度量。

3.根据权利要求1所述的方法，其中，利用至少一个色度键促进识别与所述预定背景区分的所述现实世界环境渲染的所述至少一个部分。

4.根据权利要求1所述的方法，进一步包括：

利用时间同步用于所述虚拟环境渲染的所述第一输入、用于所述现实世界环境渲染的所述第二输入、以及关于所述现实世界环境渲染的所述深度信息。

5.根据权利要求1所述的方法，进一步包括：

将用于所述虚拟环境渲染的所述第一输入、用于所述现实世界环境渲染的所述第二输入、和关于所述现实世界环境渲染的所述深度信息转换成用于图像处理的通用格式。

6.根据权利要求1所述的方法，其中，所述虚拟环境渲染和所述现实世界环境渲染是利用头戴式显示器呈现的立体视频格式。

7.一种将现实世界物体选择性合并至虚拟环境中的装置，包括：

至少一个输入端口，其被构形用以接收用于一虚拟环境渲染的第一输入、用于一现实世界环境渲染的第二输入、和关于所述现实世界环境渲染的一深度信息；和

一图像处理器，其被构形用以：

预扫描一现实世界环境以识别所述现实世界环境中的背景物体；

接收用于一虚拟环境渲染的第一输入、用于所述现实世界环境渲染的第二输入、以及关于所述现实世界环境渲染的一深度信息；

识别所述现实世界环境渲染的至少一个部分，该部分接近用户、处于一深度范围内且与一基于色度的预定背景区分以及与预扫描所述现实世界环境识别的所述背景物体区分；

应用几何变换将用于所述虚拟环境渲染的所述第一输入、用于所述现实世界环境渲染的所述第二输入、和关于所述现实世界环境渲染的所述深度信息转变成二维图像帧内像素位置；

生成一合并渲染，其包括合并到所述虚拟环境渲染中的所述现实世界环境渲染的所述至少一个部分，并从所述虚拟环境排除所述现实世界环境渲染的至少第二部分，其中，基于与指示所述像素位置的一部分超过深度范围的所述像素位置的该部分相关联的深度信息，排除所述现实世界环境渲染的至少一第二部分；和

向用户显示所述合并渲染。

8.根据权利要求7所述的装置，进一步包括：

一输出端口，其被构形用以将所述合并渲染提供给一显示装置。

9.根据权利要求8所述的装置，其中，所述显示装置包括一头戴式显示器，以及其中所述合并渲染是利用头戴式显示器呈现的立体视频格式。

10.根据权利要求9所述的装置，其中，用于所述现实世界环境渲染的所述第二输入是从至少一个与所述显示装置相关设置的摄像机获得。