[发明专利]图像处理装置、图像处理方法以及程序

说明书

技术领域

本发明涉及一种图像处理装置、图像处理方法以及程序。

背景技术

近来，被称为增强现实(AR)的技术已经引起注意，由此通过对实际空间进行成像而获得的且通过特定处理修改的图像被呈现给用户。在AR技术中，例如，可将关于输入图像中所示的实际空间中的物体的有用信息插入该图像中，以作为输出图像输出。即，在AR技术中，通常，呈现给用户的图像的大部分示出实际空间，并且可根据应用目的处理图像的一些部分。这种特性与使用计算机图形(CG)构成输出图像的整体(或大部分)的虚拟现实形成对比。通过使用AR技术，例如，可提供诸如基于输出图像用户容易了解实际空间的状况或工作支持的优点。

另外，在AR技术中，除了涉及将关于实际空间中的物体的有用信息插入通过对实际空间进行成像而获得的图像中的技术之外，还存在于观看实际空间的用户的视场上以叠加的方式将关于实际空间中的物体的有用信息呈现给用户的技术。在这种技术中，通过使用半透明反射镜(half mirror)等来与观看实际空间的用户的视场光学合成，向用户呈现关于实际空间中的物体的有用信息。同样，在使用这种AR技术的情况下，例如，可以提供诸如使用户容易了解实际空间的状况或工作支持的优点。

在AR技术中，为了向用户真实地呈现有用信息，计算机准确地了解实际空间的状况是很重要的。因此，开发了旨在了解实际空间的状况的技术，其用作AR技术的基础。例如，日本专利申请早期公开No.2008-304268公开了以下方法：通过应用能够同时估计相机的位置和姿势以及在相机的图像中示出的特征点的位置的、被称为同时定位与地图构建(SLAM)的技术，动态地生成表示存在于实际空间中的物体的三维位置的环境地图。注意，在“Real-Time Simultaneous Localization and Mapping with a Single Camera”(Andrew J.Davison，Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2，2003，pp.1403-1410)中公开了使用单目相机的SLAM技术的基本原理。

发明内容

同时，作为安装在头部上的小型显示装置，头戴式显示器(HMD)已被广泛使用。作为使用装配有相机的HMD的技术，可以举例说明以下技术：其用于使用图像处理装置、通过AR技术修改由相机成像的图像并且显示由HMD修改后的图像，以便用户观看修改后的图像。这种HMD具有的功能可例如通过视频透射型HMD实现。另外，例如，还存在以下技术：其用于将由相机成像的图像用作源，由图像处理装置通过AR技术来生成附加信息图像，并且在视场内使用半透明反射镜等光学合成所生成的附加信息图像，以便用户观看图像。例如，HMD的这种功能可通过光学透射型HMD来实现。通过使用这些技术，用户可以容易地了解实际空间的状况，并且可提供基于输出图像的工作支持。作为用于输入使图像处理装置执行处理的操作的装置，例如可假定诸如键盘或鼠标的输入装置。

然而，虽然举例说明了使用HMD的优点，即，可以省去用户输入操作的麻烦，但是存在以下问题：当将输入装置(诸如，键盘或鼠标)用作用于输入操作的装置时，导致给用户带来输入操作的麻烦。从而，减少了使用HMD的优点。

据此，希望提供一种图像处理装置、图像处理方法以及程序，其是新颖的且改进的，并且其在由HMD通过AR技术在用户的视场上以叠加方式显示信息的配置中便于用户输入操作。

根据本发明的实施例，提供了一种图像处理装置，包括：特征数据存储单元，其存储表示物体的外观的特征的特征数据；叠加显示数据存储单元，其存储叠加显示数据和项目位置，其中，叠加显示数据是叠加在用户的视场上的图像的源，以及项目位置是构成叠加显示数据的项目的位置；环境地图生成单元，其基于通过使用成像装置对实际空间进行成像而获得的输入图像和存储在特征数据存储单元中的特征数据，生成表示存在于实际空间中的一个或多个物体的位置的环境地图；叠加显示位置确定单元，其基于环境地图，从在输入图像中成像的物体中确定具有预定平面或曲面的物体的位置；叠加显示图像生成单元，其通过在由叠加显示位置确定单元确定的物体的位置处设置叠加显示数据，生成叠加显示图像；图像叠加单元，其将叠加显示图像叠加在用户的视场上；操作体识别单元，其识别在输入图像中成像的操作体；以及处理执行单元，其执行与基于由操作体识别单元识别出的操作体的位置而选择的项目对应的处理。

操作体识别单元可将在输入图像中成像的足部识别为操作体。