[发明专利]头戴式摄像显示设备及合成图像生成装置

说明书

技术领域

本发明涉及一种头戴式摄像显示设备，更具体地，本发明 涉及一种能够通过在左眼和右眼呈现视差图像而进行三维显示 的头戴式摄像显示设备。

本发明还涉及一种合成图像生成装置，该合成图像生成装 置生成用于在这种头戴式摄像显示设备中显示的图像。

背景技术

近年来，已知允许观察者体验虚拟物体看似存在于现实空 间中的混合现实(mixed reality，MR)的MR系统。在MR系统 中，通过对准和结合从观察者的观察点获得的现实空间的真实 图像和表现虚拟物体的计算机图形图像(CG image)来生成合 成图像。然后将合成图像呈现给观察者。

此时，一般利用头戴式显示设备(head mounted display device，HMD)作为向观察者呈现合成图像的显示设备。通常 地，用于拍摄观察者的观察点的现实空间图像的摄像装置被设 置在与MR系统一起使用的HMD中。在HMD被构造成能够分别 在左右眼中呈现独立的视频图像的情况下，在很多情况下，摄 像装置也具有分别用于左眼和右眼的独立构造。在下文中，将 设置有摄像装置的HMD称为“头戴式摄像显示设备”。

在这种头戴式摄像显示设备中，当一对摄像装置的摄像方 向和与由摄像装置拍摄的左右图像结合的一对CG图像的视差 不匹配时，观察到的CG图像显得不自然，并且不能获得CG图 像与现实空间的一体感。还有一个风险是观察者在观看不自然 的图像时会产生疲劳感。

为了解决该问题，已提出如下技术，该技术调整显示单元 以符合观察者的眼宽，并且生成包括与显示单元的调整量对应 的视差的CG图像。这种技术也试图使与左右两眼对应的摄像光 学系统的光轴与显示光学系统的光轴基本一致(日本特开 2006-108868号公报)。

根据上述技术，通过进行眼宽调整、通过考虑图像的视差 并使摄像光轴与显示光轴一致来生成图像，似乎可以期望虚拟 图像和实际图像的视差相一致的效果。然而，只有在如下情况 下才能期望这种效果：头戴式摄像显示设备装配成使得基线长 度值和摄像装置的摄像方向的值与设计值一致。

当以与设计值不同的值来进行装配时，最终也不能克服真 实图像的视差与CG图像的视差之间的不一致。因此，仍然存在 戴着头戴式摄像显示设备的观察者产生不舒服感和疲劳感的风 险。

发明内容

考虑到现有技术的上述问题而完成本发明。本发明的一个 目的是提供一种头戴式摄像显示设备，该头戴式摄像显示设备 能够生成现实空间的拍摄图像与虚拟物体的图像之间的视差差 异减小的合成图像。

根据本发明的一方面，提供一种头戴式摄像显示设备，其 包括：一种头戴式摄像显示设备，其包括：一对摄像部件，一 对摄像部件用于立体地拍摄现实空间并且输出一对立体图像； 显示部件，显示部件用来基于一对立体图像显示右眼用图像和 左眼用图像；储存部件，储存部件用于存储为一对摄像部件预 先测量的摄像参数。

根据本发明的另一方面，提供一种合成图像生成装置，其 包括：合成图像生成部件，合成图像生成部件用来基于表示拍 摄现实空间图像的多个摄像部件的位置关系的摄像参数，使虚 拟物体与由多个摄像部件拍摄的现实空间图像中的至少一个现 实空间图像进行合成，从而生成合成图像，位置关系检测部件， 位置关系检测部件用于检测多个摄像部件的位置关系的改变； 以及参数改变部件，参数改变部件用于根据由位置关系检测部 件检测的位置关系的改变来改变摄像参数。

从下面参照附图对本发明的典型实施方式的说明中，本发 明的其他特征将变得明显。

附图说明

图1是示出使用根据本发明的第一实施方式的头戴式摄像 显示设备的MR系统的构造示例的图；

图2是俯视图，示出在头戴式摄像显示设备10的装配被正确 执行的情况下现实空间中的物体与右眼光学单元110R的光轴 101R和左眼光学单元110L的光轴101L之间的位置关系的示例；

图3是俯视图，示出在头戴式摄像显示设备10的装配未被正 确执行的情况下现实空间中的物体与右眼光学单元110R的光 轴101R和左眼光学单元110L的光轴101L之间的位置关系的示 例；

图4是示出根据本发明的第一实施方式的由MR系统呈现的 虚拟物体的图像和现实空间的图像之间的融合的示例的图；