[发明专利]图像处理设备、图像处理方法和程序

说明书

技术领域

本发明涉及图像处理设备、图像处理方法和程序。

背景技术

近年来，被称为增强现实(AR)的技术受到了关注，通过该技术，通过对真实空间成像并利用特定处理进行修改而获得的图像被呈现给用户。在AR技术中，例如，与输入图像中所示的真实空间中的对象有关的有用信息可被插入到要作为输出图像输出的图像中。即，在AR技术中，一般而言，呈现给用户的图像的很大一部分示出了真实空间，而图像的某一部分可以根据应用目的进行处理。这种特性与虚拟现实是相反的，在虚拟现实中，输出图像的全部(或很大一部分)是利用计算机图形(CG)构建的。例如，利用AR技术，可以提供用户很容易理解真实空间的状况或者基于输出图像的工作支持之类的优点。

在AR技术中，为了向用户呈现真实有用的信息，计算机准确地理解真实空间的状况是很重要的。因此，已开发了用于理解真实空间的状况的技术，其用作AR技术的基础。例如，下面的日本专利申请早期公开No.2008-304268公开了一种通过应用被称为同时定位与地图构建(SLAM)的技术来动态地生成表示存在于真实空间中的对象的三维位置的环境地图的方法，SLAM技术能够同时估计相机的位置和姿态以及相机的图像中示出的特征点的位置。同时，在“Real-Time Simultaneous Localization and Mapping with a Single Camera”(Andrew J.Davison，Proceedings of the 9th IEEE InternationalConference on Computer Vision Volume 2，2003，pp.1403-1410)中公开了使用单眼相机的SLAM技术的基本原理。

发明内容

传统上，存在一种从图像中显示的多个对象中擦除指定对象以使该对象看起来好像不存在的图像处理技术。一般而言，在该技术中，预先摄取背景图像，并且显示背景图像来替代与新输入的人体或对象相对应的区域。然而，在该方法中，需要每次在相机的位置或姿态改变时摄取背景图像。另外，移动室外建筑物和室内家具并不容易，因此难以在没有这种对象的状态下摄取背景图像。

在该情形中，据认为有利的是不摄取背景图像而基于上述环境地图来生成图像，以便无论相机的位置和姿态如何，都能够擦除甚至难以从图像中移动的对象。

考虑到前述内容，希望提供一种新颖且改进的图像处理设备、图像处理方法和程序，其能够从图像中擦除指定对象，而不用预先拍摄背景图像。

根据本发明的一个实施例，提供了一种图像处理设备，包括：数据存储单元，用于存储指示对象的外观的特征的特征数据；环境地图生成单元，用于基于利用成像设备对真实空间成像而获得的输入图像和存储在数据存储单元中的特征数据，生成表示存在于真实空间中的一个或多个对象的位置的环境地图；以及输出图像生成单元，用于基于在环境地图中表示的从存在于输入图像内的多个对象中指定的擦除目标对象的位置和成像设备的位置来生成通过从输入图像中擦除所述擦除目标对象而获得的输出图像。

根据这样的配置，基于输入图像和特征数据动态地生成环境地图，并且基于环境地图生成通过擦除所述擦除目标对象而获得的输出图像。

图像处理设备还可包括检测单元，用于基于输入图像和特征数据动态地检测成像设备的位置。

输出图像生成单元可包括：擦除区域确定单元，用于基于环境地图中擦除目标对象的位置和成像设备的位置来确定擦除区域，擦除区域是输入图像中与擦除目标对象相对应的区域；CG图像生成单元，用于生成要叠加在输入图像上的CG图像；以及图像叠加单元，对于擦除区域的至少一部分，将由CG图像生成单元生成的CG图像叠加在输入图像上，从而生成输出图像。

CG图像生成单元可以基于由环境地图表示的除了擦除目标对象以外的对象的位置和成像设备的位置来生成CG图像。

输出图像生成单元还可包括位置估计单元，用于基于由环境地图表示的对象表面上的点的位置来估计真实空间中地板表面或墙壁表面的位置，并且CG图像生成单元还可以基于由位置估计单元估计出的真实空间中地板表面或墙壁表面的位置来生成CG图像。

特征数据可包括指示对于每个对象的表面上的一个或多个点、每个点是否很可能与真实空间中的地板表面或墙壁表面相接触的数据，并且位置估计单元还可以基于特征数据来估计真实空间中地板表面或墙壁表面的位置。