[发明专利]用于创建混合现实环境的系统、方法、显示装置、介质

权利要求书

1.一种用于创建混合现实环境的系统，其包括服务器、便携式的显示装置和图像获取装置，所述显示装置包括用于向用户显示虚拟物体的显示单元和用于拍摄真实空间的拍摄单元，以及所述图像获取装置用于从能够拍摄预定真实空间中的区域的多个固定点分别获取图像，所述系统使得能够针对用户经由所述显示单元观看的真实空间或真实空间的拍摄图像以叠加方式绘制虚拟物体，

所述服务器或所述显示装置包括：

三维空间数据存储部，其被配置为存储基于预先获得的位于所述预定真实空间中的真实物体的点云数据而创建的三维空间数据，所述三维空间数据包括各自具有三维位置信息的三维形状要素；

表存储部，其被配置为存储表，其中在所述表中，所述图像获取装置所获取到的图像的各个像素的位置信息与由该像素表示的一个或多个三维形状要素的三维位置信息相关联；

颜色信息确定部，其被配置为使用所述表以基于与所述三维形状要素相关联的一个或多个像素的颜色信息来确定所述三维形状要素的颜色信息；

颜色信息更新部，其被配置为针对所述图像获取装置所获取到的图像的各个像素，判断所述各个像素的颜色信息的变化是否满足预定条件，并使用满足所述预定条件的各个像素的最新颜色信息来更新所述三维形状要素的颜色信息，其中，所述像素的颜色信息的变化满足所述预定条件的情况是该像素的最新颜色信息位于该像素的原始颜色信息的特定距离范围内的情况，或者对于各单个像素、预定数量的过去的图像帧的颜色信息的平均值位于该像素的原始颜色信息的特定距离范围内的情况；

用户环境确定部，其被配置为确定所述显示装置的位置和所述拍摄单元的拍摄方向；

虚拟照明信息生成部，其被配置为基于所述三维形状要素的颜色信息和三维位置信息来生成针对要绘制的虚拟物体的虚拟照明信息；以及

绘制部，其被配置为基于所述显示装置的位置、所述拍摄单元的拍摄方向和所述虚拟照明信息来在所述显示单元上绘制所述虚拟物体。

2.根据权利要求1所述的系统，其中，所述虚拟照明信息生成部基于所述三维形状要素的颜色信息和三维位置信息，来生成与用于容纳要绘制的虚拟物体的虚拟多面体的各个面有关的虚拟照明信息作为针对要绘制的虚拟物体的虚拟照明信息。

3.根据权利要求1或2所述的系统，

其中，所述显示装置还包括位置姿势传感器，以及

其中，所述用户环境确定部将所述位置姿势传感器所获取到的所述显示装置的位置和所述拍摄单元的拍摄方向视为临时用户环境，从所述三维空间数据存储部获得所述拍摄单元在相对于所述临时用户环境的预定范围内的位置和方向上能够拍摄到的三维形状要素，并且基于所获得的三维形状要素的颜色信息和三维位置信息以及所述真实空间的拍摄图像来确定所述显示装置的位置和所述拍摄单元的拍摄方向。

4.根据权利要求1或2所述的系统，其中，所述三维形状要素是包括基于预先获得的位于所述预定真实空间中的真实物体的点云数据而创建的多边形的网格。