[发明专利]图像处理装置、图像处理程序、及生成图像的方法

说明书

技术领域

本发明涉及对电视机、数字摄像机、医疗图像等图像进行处理的图像处理装置、图像处理程序、及生成图像的方法。

背景技术

在非专利文献1～3（通过参照引用）中，示出了使用总变差（Total variation，以下记作TV）正则化方法的图像放大法，该方法作为电视机及摄像机图像等的超分辨率放大法非常有用。

图7表示非专利文献1～3所示的、使用TV正则化方法进行图像放大的图像处理装置的结构。输入图像被TV正则化成分分离部1分离为输入图像的骨架成分和组织（texture）成分（都是与输入图像相同的像素数）。通过TV正则化放大部2使骨架成分成为放大骨架成分。通过线性内插放大部3使组织成分成为放大组织成分。放大骨架成分与放大组织成分被成分合成部4合成，得到最终放大图像。

在图8中，以流程图表示TV正则化成分分离部1的处理。若输入了图像f_ij（f表示像素的值，i、j分别是表示横向及纵向的像素位置的下标），则在步骤101中将运算次数N初始设定为0后，在步骤102中如图中的式子那样计算用于TV正则化运算的修正项α。这里，λ是规定的正则化参数，总和符号（∑）表示关于像素整体的总和，那勃勒微分运算符（）是将图像内的横向位置及纵向位置分别设为x方向及y方向的周知的矢量微分运算符。在步骤103中，将像素值u_ij（N）通过-εα更新为新的像素值u_ij（N+1）（u是像素的值，i、j是分别表示横向及纵向的像素位置的下标）。并且，在步骤104中使运算次数N增加，在步骤105中判断N是否达到了预先设定的值Nstop。在N尚未达到值Nstop的情况下，回到步骤102。在N已达到值Nstop的情况下，将像素值u_ij作为最终骨架成分输出，此外，在步骤106中，从输入图像f_ij减去u_ij，输出组织成分v_ij。另外，u的初始值u_ij（0）例如与输入图像f_ij相同。

非专利文献1～3所示的使用TV正则化方法的图像放大法具有两个在反复运算中花费庞大的计算时间的TV正则化运算处理部。即，通过TV正则化方法将骨架成分与组织成分分离的TV正则化成分分离部1、和基于TV正则化方法的TV正则化放大部2。

在此，本发明者们为了在使用TV正则化方法进行图像放大的图像处理装置中削减整体的计算时间，以前提出了专利文献1（通过参照引用）中记载的技术。将该图像处理装置的结构在图9中示出。另外，以下说明的专利文献1的技术在2010年3月12日的时点并不是公知技术。

该图像处理装置具备：TV正则化放大部5，从输入图像得到放大骨架成分（表示输入图像的骨架成分的图像，并且样本数比输入图像多的图像）；降采样（down sampling）部7，对由该TV正则化放大部5得到的放大骨架成分进行降采样，得到作为与输入图像相同样本数的图像的骨架成分；减法部6，将由降采样部7得到的骨架成分从输入图像减去，得到组织成分；线性内插放大部8，对于由减法部6得到的组织成分，使用线性内插将样本数增加（即放大），得到放大组织成分；以及成分合成部9，将由TV正则化放大部5得到的放大骨架成分与由线性内插放大部8得到的放大组织成分合成，得到放大输出图像。

该图像处理装置如下动作。输入图像在TV正则化放大部5中成为放大骨架成分。如图10所示，放大骨架成分被降采样部7将像素数间隔剔除，成为与原来的输入图像相同的样本数的图像。例如，通过对图的左侧所示的6×6的放大图像进行降采样，将图中的黑圆去除，制作3×3的一半尺寸的图像。将通过该降采样得到的骨架成分从输入图像减去，而成为组织成分。通过线性内插放大部8使组织成分成为放大组织成分。由成分合成部9将放大骨架成分与放大组织成分合成，成为最终放大图像。

在图11中表示TV正则化放大部5中的处理。在该TV正则化放大部5中，为了进行放大运算，例如进行如下的运算：使i、j分别成为2倍，使u的像素数成为输入图像的像素数的4倍。另外，这样的放大运算与图7所示的TV正则化放大部2同样。具体而言，其放大运算如下所述。