[发明专利]图像处理装置及图像处理方法

说明书

技术领域

本发明涉及通过在从输入图像得到的3维模型中进行射影变换而生成变换图像的图像处理装置及图像处理方法。

背景技术

近年来，用户对用数字静止照相机或数字摄像机等拍摄的图像进行编辑的情况变多。例如，用户经由GUI（Graphical User Interface：图形用户界面）指定输入图像内的一部分区域，将拍摄在该一部分区域中的被摄体的像放大。在这样的情况下，只是将被摄体的像单纯地放大或缩小，不能得到将照相机向被摄体接近而拍摄那样的像。

此外，提出了将从多个方向拍摄被摄体的输入图像合成而生成3维模型、在所生成的3维模型中通过从任意的视点位置进行射影变换从而生成被摄体像的方法（例如，参照专利文献1）。通过这样的方法，例如能够得到将照相机向被摄体靠近而拍摄那样的被摄体像、或从与实际的照相机不同的方向拍摄那样的被摄体像。

专利文献1：日本特开2002－290964号公报

发明概要

发明要解决的问题

但是，在上述以往的方法中，有变换图像的画质较大地劣化的情况。

发明内容

所以，本发明是鉴于上述问题而做出的，目的是提供一种在通过在从输入图像得到的3维模型中进行射影变换生成变换图像的情况下、能够抑制变换图像的画质的劣化的图像处理装置及图像处理方法。

用于解决问题的手段

有关本发明的一个形态的图像处理装置，其特征在于，具备：数据输入部，受理输入图像、表示上述输入图像的深度的深度数据、和上述输入图像的拍摄参数的输入；参数输入部，受理与3维模型的射影变换相关的参数即变换参数的输入；变换图像生成部，通过在根据上述输入图像、上述深度数据和上述拍摄参数得到的3维模型中进行基于上述变换参数的射影变换，从而生成变换图像；空白区域检测部，在上述变换图像中检测作为空白像素的集合的空白区域，该空白像素是在上述输入图像内不存在对应像素的像素；以及输出部，在表示上述空白区域的大小的空白值是阈值以下的情况下，将上述变换图像输出。

另外，这些全部或具体的形态也可以由系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM（Compact Disc Read Only Memory）等的记录介质实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。

发明效果

根据本发明的一个形态，在通过在从输入图像得到的3维模型中进行射影变换来生成变换图像的情况下，能够抑制变换图像的画质的劣化。

附图说明

图1是表示有关实施方式1的图像处理装置的功能结构的框图。

图2是表示有关实施方式1的图像处理装置的处理动作的流程图。

图3是用来说明有关实施方式1的变换图像生成部的处理的一例的图。

图4是用来说明有关实施方式1的变换图像生成部的处理的一例的图。

图5是用来说明有关实施方式1的变换图像生成部的处理的一例的图。

图6是表示有关实施方式2的图像处理装置的功能结构的框图。

图7是表示有关实施方式2的图像处理装置的处理动作的流程图。

图8是表示有关实施方式3的图像处理装置的功能结构的框图。

图9是表示有关实施方式3的图像处理装置的处理动作的流程图。

图10A是表示输入图像的一例的图。

图10B是表示深度数据的一例的图。

图11是表示初始状态下的GUI的一例的图。

图12是表示显示基于输入变换参数生成的变换图像的GUI的一例的图。

图13是表示显示基于插补变换参数生成的变换图像（空白值>阈值）的GUI的一例的图。

图14是表示显示基于插补变换参数生成的变换图像（空白值=阈值）的GUI的一例的图。

图15是表示空白区域补充而得到的变换图像的一例的图。

图16是表示有关实施方式1～3的变形例的显示装置的功能结构的框图。

具体实施方式

（本发明的概要）

在现有技术的方法中，有变换图像的画质较大地劣化的情况。例如，有在通过射影变换生成的变换图像内发生对应的像在输入图像中不存在的空白区域的情况，在这样的情况下，变换图像的画质较大地劣化。