[发明专利]用于将数字信息投影到真实环境中的真实对象上的方法和系统

说明书

一种将数字信息投影在真实环境中的真实对象上的方法，包括利用可见光投影仪将数字信息投影在真实对象或真实对象的一部分上，使用相机捕获具有投影的数字信息的真实对象的至少一个图像，提供与相机配准的深度传感器，所述深度传感器捕获该真实对象或该真实对象的一部分的深度数据，以及基于所述至少一个图像和深度数据计算可见光投影仪与真实对象之间的空间变换。本发明还涉及相应的系统。

本发明涉及用于将数字信息投影在真实环境中的真实对象上的方法和系统。此外，本发明涉及包括软件代码部分的计算机程序产品，该软件代码部分在计算机系统上运行时用于执行该方法。

增强现实(AR)系统可以通过借助于计算机生成的数字信息直接视觉上增强真实环境来加强真实环境。例如，这样的数字信息是用于增强真实环境的视觉印象的虚拟信息。诸如在参考文献[1]中提及的，典型的应用被称为，例如，所谓的基于投影仪的AR，投影式AR或空间AR。该数字信息可以是任何类型的视觉可感知的数据，诸如对象、文本、绘图、视频或它们的组合。真实环境的直接增强可以通过使用投影仪将计算机生成的数字信息投影到真实环境或真实环境的一部分的真实对象的表面上来实现。

投影式AR具有许多应用，诸如如参考文献[2]中描述的用于架构设计的原型，和如参考文献[3]中描述的汽车制造，如参考文献[4]中描述的用于新型计算机用户界面开发的普适计算，如参考文献[5]中描述的信息显示，或者如参考文献[6]中描述的鞋的设计。

为了在投影的视觉数字信息与将在真实环境中增强的真实对象之间具有所需的对准，必须已知真实对象和投射数字信息的投影仪之间的空间变换。为此，经常进行校准程序以基于2D-2D、2D-3D、或3D-3D对应性来估计空间变换，这是用于建立投影式AR系统的挑战性步骤。对于这样的校准程序通常需要相机。

已经提出和开发许多校准方法以计算投影仪和真实对象之间的空间变换。例如，Jundt等人在参考文献[3]中描述了使用相机和投影仪在汽车表面上显示关于汽车的视觉数据的方法。相机和投影仪应该刚性地耦接，以便对它们进行一次校准，然后假设根据由相机获取的处理视频数据所计算的投影仪-车的外部特征(即，相对的空间位置和方位)。相机检测连接至汽车的视觉标记，以便估计相机和汽车之间的空间变换。以这种方式，可以确定投影仪和汽车之间的空间变换。该方法的问题是，必须预先测量该标记相对于汽车的坐标系的位置和方位。

在参考文献[6]中描述的扩展3D是一种商业投影式AR系统，其基于刚性地连接至投影仪的相机传感器来跟踪一组标记。这两个开发的系统具有一些限制。校准不能由独立的实体检查。必须频繁地执行相机和投影仪之间的额外的校准程序。该程序不能在任意对象上进行，而是需要呈现平坦的表面或类似物。此外，视觉标记本身需要事先与汽车配准，这引入了额外的误差源。

Raskar等人在参考文献[2]中开发了一种用于支持构架设计的投影式AR系统。他们提出了用于多台投影仪的校准方法，以确保几何对齐投影的图像。他们的系统需要手动调节投影图像的纹理坐标以与物理模型(真实对象)视觉对齐。

Kurz等人在参考文献[6]中提出了一种校准方法，用于基于使用与相机刚性耦接的激光指示器来建立投影仪与室内物理场景(即真实对象)之间的空间变换。相机和激光系统安装在机器人云台装置(自动云台装置，robotic pan-tilt apparatus)中，使得可以控制相机和激光器的运动以用于扫描室内环境并且利用室内环境校准投影仪。然而，机器人云台装置很昂贵，并且难以实现相机和激光系统的受控运动。这主要是因为该系统需要云台与相机的非常精确的手眼校准，其提供相机相对于云台单元的位置和方位。并且，利用激光器对环境取样花费大量的时间，因为每次可以感测仅一个点。

Fuchs等人在参考文献[7]中描述了使用来自投影仪的结构光来收集后面可视化中待使用的深度信息。它们不在真实对象上投影虚拟信息，而是使用头戴式显示器。