[发明专利]信息处理设备及其控制方法和图像处理设备

说明书

技术领域

本发明涉及信息处理设备及其控制方法和图像处理设备。更具体地，本发明涉及混合现实技术。

背景技术

有许多已知的基于混合现实技术的系统(MR系统或混合现实系统)，该技术以一种自然方式合并真实世界和虚拟世界而不会引起任何不适。这种MR系统在显示设备如HMD上显示混合现实图像，通过合并由成像设备如照相机获取的实像(实际感测图像)和使用CG(计算机图形)绘制的虚拟空间图像(虚像)来创建该混合现实图像。通过此过程，MR系统向它的用户提供混合现实。在上面的描述中，CG代表计算机图形，而HMD代表头戴式显示器。

由于这种MR系统创建虚像以跟踪实像中的变化，所以需要实时地捕获用户观察点的位置和取向。6-自由度位置和取向传感器设备被广泛用于捕获位置和取向。MR系统将用户观察点的位置和取向，如6-自由度位置和取向传感器设备所测量的，转换成虚拟空间中虚拟的观察点位置和取向，使用CG绘制虚像，并且合并所述虚像与实像。因此，MR系统的用户将能够观察在其上描绘虚拟对象的图像，就好像它们真实地存在于真实空间中。

MR系统的用户一般使用头部固定型显示设备，如HMD。HMD装备有与观察者的观察点的位置和取向近似光学一致配置的视频照相机。使用HMD的MR系统从佩戴HMD的用户(观察者)的观察点的位置和取向获取实像，并且创建从相同的位置和取向观察到的虚拟空间图像。结果，这种MR图像能增强观察者沉浸其中的感觉。

另一方面，有了使用HMD的MR系统，仅有佩戴HMD的观察者能观察到混合现实图像，并且不佩戴HMD的第三人不能观察到混合现实图像。为此原因，被呈现给所述观察者的相同混合现实图像被显示在固定显示设备如CRT、投影仪或大显示器上，以呈现给非特定的第三人。因此，甚至不佩戴HMD的第三人能体验佩戴HMD的观察者所体验的相同混合现实。

在此情况下，第三人将观察从所述观察者的观察点创建的混合现实图像。如果观察者移动或倾斜他的/她的头，即使第三人保持固定，对应于所述观察者的位置和取向中的变化的混合现实图像将被呈现给第三人。因此，例如，当观察者为了向下注视目标而倾斜他的/她的头时，倾斜的混合现实图像将呈现在观察者的HMD上，并且同时，倾斜的混合现实图像将呈现在第三人看到的固定显示设备上。由于混合现实图像被创建以显示在观察者的HMD上，因此，明显地，该混合现实图像对于观察者是合适的。但是，由于第三人观看所述固定显示器时不会以与观察者相同的方式倾斜，所以第三人将不可避免地感觉到呈现的混合现实图像以与他/她自己的头倾斜不一致的角度不自然地倾斜。此外，由于佩戴HMD的观察者的头的位置和取向不断变化，上面提及的观察固定显示设备的第三人感觉的不自然将增加。因此，当观察所呈现的混合现实图像时，第三人可能最终觉得不适。

换句话说，使用如上所述MR系统，存在这样的情况：适于倾斜他/她的头的观察者的混合现实图像可能不适于第三人，该第三人具有的观察点的位置和取向不同于该观察者的观察点位置和取向。因此，要求对应于观察者的位置和取向中变化的混合现实图像被呈现给观察者，同时不具有由所述观察者的位置和取向中的变化导致的倾斜的混合现实图像被呈现给第三人。

在公开号为10-164426的日本专利中公开的电子照相机控制将被记录的图像，以通过检测成像平面的取向来维持恒定的垂直取向。

但是，公开号为10-164426的日本专利中公开的电子照相机执行的处理被局限在检测成像单元的旋转方向和角度以及基于所述检测结果的图像旋转。因此，上述发明既不能向佩戴HMD的观察者也不能向没佩戴HMD的第三人呈现合适的混合现实图像。

发明内容

考虑到上述问题作出本发明，并且它的目标是提供能够向佩戴HMD的观察者和没佩戴HMD的第三人呈现合适的混合现实图像的技术。

为了实现以上目标，信息处理设备连接到显示设备，信息处理设备包括：

获取单元，适合获取由成像设备捕获的实像；

生成单元，适合基于成像设备的取向生成虚像；

检测单元，适合检测实像的倾斜；

校正单元，适合基于所检测到的实像的倾斜校正实像；

合成单元，适合基于校正的实像和虚像生成合成图像；

输出单元，适合向显示设备输出校正的合成图像。

此外，根据本发明另一个信息处理设备被配置如下。即，

信息处理设备连接到显示设备，信息处理设备包括：

获取单元，适合获取由成像设备捕获的实像；