[发明专利]图像处理方法、图像处理装置、以及摄像装置

说明书

技术领域

本发明涉及根据使用状况对拍摄后的图像进行各种图像变形处理的图像处理方法和图像处理装置，并涉及使用该图像处理方法和装置的摄像装置。

背景技术

现有的车载照相机在对拍摄后的图像进行变形补偿或转动补偿以及俯视补偿等必要的图像变形处理时，为了处理高速化，利用记录了输入图像坐标值与输出图像坐标值之间的对应关系的查询表来进行处理。然而，最近的摄像元件因像素量膨大，造成对应于像素的查询表所需要的存储容量趋于增大，而且，需要对各个图像变形处理分别制备查询表，因而，目前存在的各种图像变形处理要求难免造成查询表规模增大以及成本上升。

对此，例如专利文献1(JP特开2009-010730号公报)公开了以下图像处理方法。即将输出图像切割成多个区域，并利用记录了每个区域的顶点像素所对应的输入图像中的坐标值的查询表，当查询表中不存在对应于输出图像中的注目像素所对应的输入图像中的坐标值时，用线性插值处理计算该坐标值，减小查询表所需要的存储容量，通过简单的结构来进行廉价且高速的各种图像变形处理。

例如，在放大显示拍摄图像及输入图像的某个部分时，如图13A所示，将输出图像在X方向上每隔a个像素且在Y方向上每隔b个像素分割且形成多个区域，如图13B中为6×4个区域，对各个区域中的每个像素，如图13B为具有7×5个像素，制备查续表，该查询表中保存了与每个区域的顶点像素所对应的拍摄图像上的坐标值。在图13B中显示了标号1至35表示赋予各个区域的顶点像 素的编号即顶点像素编号。对每个顶点像素编号，在查询表中保存了对应于该顶点像素的拍摄图像中的坐标值。

当输出图像中的注目像素与顶点像素一致时，从查询表取得该顶点编号地址所对应的拍摄图像中的坐标值(坐标转换的坐标值)。而当输出图像中的注目像素与顶点像素不一致时，则从查询表取得包含该像素的区域的4个顶点像素即参考像素所对应的拍摄图像上的4个坐标值，并根据该4个坐标值进行线性插值处理，算出输出图像中的注目像素所对应的坐标值。而后，将拍摄图像中的上述坐标值所对应的像素的像素值作为输出图像中的注目像素的像素值输出。此时，如果拍摄图像中不存在上述坐标值对应的像素，则根据拍摄图像中该坐标值周围的4个像素即参考像素的像素值来进行线性插值处理，算出该像素的像素值。

根据专利文献1公开的图像处理方法，能够用小规模的查询表来实现以图14A和图14B所示的数字化处理所代表的复杂的图像处理。但是，将拍摄图像两侧等分割出来进行显示的画与画(Picture by Picture，即P by P)画面作为输出图像时，因缺少图像中间部分，输出图像中存在不连续的部分，为此，无法简单地用专利文献1所述的图像处理方法来实现图像处理。此外，在显示像素面中的子画面的画中画(Picture in Picture，即P in P)画面时，子画面和原画面的边界不连续，同样不能够用专利文献1公开的图像处理方法来简单实现图像处理。

图14A和图14B是画中画画面的模式性示意图。图14A是从拍摄元件中得到的拍摄图像。图14B是利用该拍摄图像实行P by P的输出图像，即分割出拍摄图像的左侧的A区域图像和右侧的B区域图像来进行数字放大显示。输出图像的区域分割数量与图13B相同。在此，对比图13B和图14B可知，图14B中不连续点中的参考顶点数据的数量相对增多，因此，与图13B相比，图14B需要在查询表中记录更多的顶点数。也就是说，若要获得图13B的输出图像，需要在查询表中保存的顶点数量为7×5＝35，而若要获得图14B的输出图像，则需要在查询表中保存的顶点数量为4×5+4×5＝40。这样，在利用查询表并用线性插值来计算像素所对应的拍摄图像中的坐标值时，不能简单地实现不连续点的计算，而需要进行复杂的处理。

发明内容

针对上述问题，本发明提供一种图像处理方法以及图像处理装置，其目的在于，在对输入图像进行所需要的图像变形后获得输出图像时，将输出图像分割为多个区域，并预先制备各个区域的顶点像素的查续表，该查询表中保存了输入图像中的坐标值，当进行线性插值时，利用该查续表来计算任意输出图像所对应的输入图像中的坐标值，这样，即便在输出图像中存在不连续点，也能够方便地获得所要的输出图像。

此外，本发明的目的还在于提供内藏上述图像处理装置、且能够简单输出画与画输出图像或画中画输出图像的图像摄像装置。