[发明专利]用于创建混合现实环境的系统、方法、显示装置、介质

说明书

提供一种能够在混合现实环境中实时识别真实空间环境的系统。根据本发明的系统是包括服务器、便携式的显示装置和图像获取装置的系统，所述显示装置包括用于向用户显示虚拟物体的显示单元和用于拍摄真实空间的拍摄单元，以及所述图像获取装置用于从能够拍摄预定真实空间中的区域的多个固定点分别获取图像，所述系统使得能够针对用户经由显示单元观看的真实空间或真实空间的拍摄图像以叠加方式绘制虚拟物体，所述服务器或所述显示装置包括三维空间数据存储部、表存储部、颜色信息确定部、颜色信息更新部、用户环境确定部、虚拟照明信息生成部和绘制部。

技术领域

本发明涉及系统，特别涉及在混合现实环境中实时识别真实空间环境的系统。

背景技术

近来，已知被称为MR的混合现实技术作为用于将现实世界与虚拟世界实时无缝融合的技术。该技术使得体验它的用户能够感知到如同那里存在虚拟物体一样。MR技术在各领域中正受到关注。为了实现MR技术，用户穿戴光学透视HMD(头戴式显示器)或视频透视HMD，这使得用户能够观看在HMD上以叠加方式显示的混合现实图像。

作为用于将现实世界识别为3D空间的技术，已知两种方法：即，安装用户视点的高精度照相机的方法、以及以围绕观察空间的方式安装照相机的方法。

作为安装用户视点的高精度照相机的方法，存在使用红外投影器和红外照相机的方法。例如，作为安装用户视点的高精度照相机的方法，存在照射红外线并且根据红外线的反射图案中的变形来测量物体的深度的方法。此外，作为被称为飞行时间(TOF)的方法，存在照射诸如红外线等的不可见光并且测量其反射以计算到对象物体的往返距离的方法。这些方法的问题在于，可以三维地处理的空间范围限制于红外线的到达范围，并且在太阳效果下无法使用。

此外，作为以极高精度拍摄三维信息的方法，存在采用3D激光扫描器的方法。利用这种方法，虽然可以实现高测量精度，但是为了进行360度测量，最少耗费10分钟，并且对于标准图像质量耗费大约30分钟。这抑制了在实时应用中采用该方法。此外，每一个3D激光扫描器花费几百万到几千万日元，这使得它们不适合在大范围内进行大规模部署。由于这些特性，3D激光扫描器正在诸如土木工程中的测量和工厂中的布局确认等的为了高精度3D建模而承受足够长时间的应用中使用。例如，在根据专利文献1实现的技术中，向通过利用3D图像扫描器扫描而创建的点云数据赋予由照相机拍摄的图像的颜色，这使得可以将现实世界实现为3D空间。

作为以围绕观察空间的方式安装多个照相机的方法，存在如下方法：通过使用非专利文献1中描述的被称为运动恢复结构(Structure-from-Motion,SfM)的技术从分别拍摄的多个图像恢复原始三维信息。采用这种方法的众所周知的产品是MicrosoftPhotosynth(注册商标)。尽管SfM实现的精度与MR技术所需的精度相比相对较低，但是SfM是一种可以廉价地构建3D模型的方法。然而，SfM仅具有低的实时属性，并且无法直接应用于MR环境的实现。

如上所述，利用这些方法，无法同时实现实时特性和高精度测量。因此，难以高精度地拍摄诸如建筑物等的背景并且难以识别由于太阳的移动或人的移动而引起的间接照明的变化。

{引用列表}

{专利文献}

专利文献1：日本特开2013-69235

{非专利文献}

非专利文献1：Sameer Agarwal,Yasutaka Furukawa,Noah Snavely,Ian Simon,Brian Curless,Steven M.Seitz,and Richard Szeliski.2011.Building Rome in aday.Commun.ACM 54,10(October 2011),105-112.DOI＝http://dx.doi.org/10.1145/2001269.2001293

发明内容