[发明专利]用于创建混合现实环境的系统、方法、显示装置、介质

摘要

提供一种能够在混合现实环境中实时识别真实空间环境的系统。根据本发明的系统是包括服务器、便携式的显示装置和图像获取装置的系统，所述显示装置包括用于向用户显示虚拟物体的显示单元和用于拍摄真实空间的拍摄单元，以及所述图像获取装置用于从能够拍摄预定真实空间中的区域的多个固定点分别获取图像，所述系统使得能够针对用户经由显示单元观看的真实空间或真实空间的拍摄图像以叠加方式绘制虚拟物体，所述服务器或所述显示装置包括三维空间数据存储部、表存储部、颜色信息确定部、颜色信息更新部、用户环境确定部、虚拟照明信息生成部和绘制部。

主权项

1.一种系统，其包括服务器、便携式的显示装置和图像获取装置，所述显示装置包括用于向用户显示虚拟物体的显示单元和用于拍摄真实空间的拍摄单元，以及所述图像获取装置用于从能够拍摄预定真实空间中的区域的多个固定点分别获取图像，所述系统使得能够针对用户经由所述显示单元观看的真实空间或真实空间的拍摄图像以叠加方式绘制虚拟物体，所述服务器或所述显示装置包括：三维空间数据存储部，其被配置为存储基于预先获得的位于所述预定真实空间中的真实物体的点云数据而创建的三维空间数据，所述三维空间数据包括各自具有三维位置信息的三维形状要素；表存储部，其被配置为存储表，其中在所述表中，所述图像获取装置所获取到的图像的各个像素的位置信息与由该像素表示的一个或多个三维形状要素的三维位置信息相关联；颜色信息确定部，其被配置为基于与所述三维形状要素相关联的一个或多个像素的颜色信息来确定所述三维形状要素的颜色信息；颜色信息更新部，其被配置为基于所述图像获取装置所获取到的图像的各个像素的颜色信息的变化来更新所述三维形状要素的颜色信息；用户环境确定部，其被配置为确定所述显示装置的位置和所述拍摄单元的拍摄方向；虚拟照明信息生成部，其被配置为基于所述三维形状要素的颜色信息和三维位置信息来生成针对要绘制的虚拟物体的虚拟照明信息；以及绘制部，其被配置为基于所述显示装置的位置、所述拍摄单元的拍摄方向和所述虚拟照明信息来在所述显示单元上绘制所述虚拟物体。