[发明专利]图像处理设备及方法

说明书

技术领域

本发明涉及用于基于在拍摄的图像上检测到的图像特征，计算图像拾取设备或者观察目标对象的位置和姿态中至少一个的技术。

背景技术

近来，已积极进行了用于提供现实和虚拟空间的无缝融合的混合现实(MR)技术的研究。在这些MR技术中，特别是在现实空间上叠加虚拟空间的增强现实(AR)技术已受到观注。

采用AR技术的图像提供设备主要由视频透视或者光学透视的头戴式显示器(HMD)来实现。

在视频透视的HMD中，把依据诸如HMD中的摄像机之类的图像拾取设备的位置和姿态而产生的虚拟空间图像(例如，由计算机图形描绘的虚拟对象或者文本信息)叠加在图像拾取设备拍摄的现实空间图像上，并且把所得的合成图像显示给用户。在光学透视的HMD中，把依据HMD的位置和姿态而产生的虚拟空间图像显示在透射型显示器上，以允许在用户的视网膜上形成现实和虚拟空间的合成图像。

关于AR技术的最严重的问题之一是现实和虚拟空间之间的精确配准(registration)，为处理这个问题，已进行了许多尝试。在视频透视的HMD中，AR中的配准问题包括场景中(就是说，在场景中定义的基准坐标系中)图像拾取设备的位置与姿态的精确确定。在光学透视HMD中，配准问题包括场景中HMD的位置与姿态的精确确定。

为了解决前一问题，通常在场景中放置人工标记并且利用这些标记在基准坐标系中确定图像拾取设备的位置与姿态。从图像拾取设备所拍摄的图像中的标记的检测位置与已知信息之间的对应关系中确定基准坐标系中的图像拾取设备的位置与姿态，该已知信息即为标记在基准坐标系中的三维位置。

为了解决后一问题，通常把图像拾取设备连附在HMD上并以类似于上述方式的方式来确定图像拾取设备的位置与姿态，从而以所确定的图像拾取设备的位置与姿态为基础，来确定HMD的位置与姿态。

在摄影测量和计算机视觉的领域中，用于基于图像坐标与三维坐标之间的对应关系来确定图像拾取设备的位置与姿态的方法已被提出了很久。

在R.M.Haralick、C.Lee、K.Ottenberg、以及M.Nolle所著的“Review and Analysis of Solutions of the Three Point PerspectivePose Estimation Problem”，International Journal of Computer Vision，vol.13，No.3，PP.331-356，1994(在下文中称为“文献1”)中公开了用于通过基于三个点的对应关系求解非线性方程组来确定图像拾取设备的位置与姿态的方法。

在D.G.Lowe所著的“Fitting Parameterized Three-DimensionalModels to Images”，IEEE Transactions Pattern Analysis and MachineIntelligence，vol.13，No.5，PP.441-450，1991(在下文中称为“文献2”)中公开了用于基于多个点的图像坐标与三维坐标之间的对应关系，通过迭代计算使图像拾取设备的大致位置与姿态最优化来确定图像拾取设备的位置与姿态的方法。

AR技术中的除配准以外的另一严重问题是需要确定现实与虚拟空间之间的在前/在后关系的遮蔽(occlusion)问题。例如，当虚拟对象位于被诸如手之类的现实对象隐藏或遮蔽的位置上时，必须在虚拟对象前面描绘现实对象。如果不考虑遮蔽效应，总是使虚拟对象描绘在现实对象前面，则观看所得的图像的观察者会感觉不自然。在日本专利特开No.2003-296759(在下文中称为“专利文献”)中，通过预先指定遮蔽的现实对象的颜色(例如，手的颜色)以便不使虚拟对象被描绘在与遮蔽的现实对象具有相同颜色的拍摄图像的区域中，从而来克服遮蔽问题。

在N.Yokoya、H.Takemura、T.Okuma、以及M.Kanbara所著的“Stereo Vision based video see-through mixed reality”，in(Y.Ohta&H.Tamura，eds.)Mixed Reality-Merging Real and Virtual Worlds，Chapter 7，Ohmsha-Springer Verlag，1999(在下文中称为“文献11”)中，通过使用由HMD的两个内置摄影机拍摄到的图像进行立体匹配来获得现实空间深度信息，从而克服遮蔽问题。