[发明专利]图像信号处理装置、图像信号处理方法及图像显示装置

说明书

技术领域

本发明涉及用于使图像信号高分辨率化的技术，特别涉及通过合 成多个图像帧，进行增加构成图像帧的像素数并且除去不需要的折返 成分(aliasing component)的高分辨率化的技术。

背景技术

近年来的电视接收机的大画面化不断进展，不是直接显示从播放、 通信、累积介质等输入的图像信号，一般是通过数字信号处理使水平、 垂直方向的像素数增加而进行显示。此时，通过一般已知的使用sinc 函数的插补(interpolation)低通滤波器、样条函数等仅是增加像素数 不能够提高分辨率。

于是，如专利文献1、专利文献2、非专利文献1所述，公开了对 输入的多个图像帧(以下简称为帧)进行合成而成为一帧，由此进行 高分辨率化并使像素数增加的技术(以下称为现有技术)。

【专利文献1】日本特开平8-336046号公报

【专利文献2】日本特开平9-69755号公报

【非专利文献1】青木伸“基于多个数字图像数据的超解像处理”， Ricoh Technical Report pp.19-25，No，24，NOVEMBER，1998

发明内容

在这些现有技术中，通过(1)位置推定(motion estimation)、(2) 宽带域插补、(3)加权和、这三个处理进行高分辨率化。此处，(1) 位置推定是指，使用输入的多个图像帧的各图像数据，推定各图像数 据的采样相位(取样位置)的差。(2)宽带域插补是指，相对各图像 数据，使用包括折返成分，使原信号的高频成分全部透过的带域宽的 低通滤波器对像素数(采样点)进行插补而使其增加，从而使图像数 据高密度化。(3)加权和是指，利用与各高密度化数据的采样相位相 对应的加权系数求取加权和，从而消除在像素采样时产生的折返成分， 同时恢复原信号的高频成分。

图2表示这些高分辨率化技术的概要。如该图1a)所示，设想输 入不同的时间轴上的帧#1(201)、帧#2(202)、帧#3(203)，对它 们进行合成得到输出帧(206)。为了简单，首先考虑被拍摄体在水平 方向上移动(204)的情况，考虑通过水平线(205)上的一维信号处 理进行高分辨率化的情况。此时，如该图(b)和图(d)所示，在帧 #2(202)和帧#1(201)中，与被拍摄体的移动(204)的量相对应 地产生信号波形的位置偏差。利用上述(1)位置推定求取该位置偏差 量，如该图1c)所示，以使位置偏差消失的方式对帧#2(202)进行 运动补偿(motion compensation)(207)，并且求取各帧的像素(208) 的采样相位(209)(210)间的相位差θ(211)。基于该相位差θ(211) 进行上述(2)宽带域插补和(3)加权和，从而，如图(e)所示，在 原像素(208)的正中间(相位差θ＝π)的位置生成新像素(212)，由 此实现高分辨率化。关于(3)加权和在后面叙述。

实际上，被拍摄体的动作不仅是平行移动，虽然要考虑伴随旋转、 放大、缩小等动作的运动，但在帧间的时间间隔微小的情况下、被拍 摄体的动作迟缓的情况下，它们的动作也能够被认为是局部近似于平 行移动。

在利用专利文献1、专利文献2、非专利文献1所述的现有技术进 行一维方向的两倍的高分辨率化的情况下，在进行上述(3)的加权和 时，如图3所示，必须至少使用三个帧图像的信号。此处，图3是表 示在一维的频率区域中，各成分的频谱的图。在该图中，与频率轴的 距离表示信号强度，以频率轴为中心的旋转角表示相位。以下详细说 明上述(3)的加权和。

在上述(2)的宽带域插补中，如果利用透过尼奎斯特(Nyquist) 频率二倍的带域(频率0～采样频率fs的带域)的宽带域低通滤器进 行像素插补，得到与原信号相同的成分(以下称为原成分)，以及与采 样相位对应的折返成分的和。可知，此时，如果对三个帧图像的信号 进行上述(2)宽带域插补的处理，则如图3(a)所示，各帧的原成分 (301)(302)(303)的相位全部一致，折返成分(304)(305)(306) 的相位与各帧的采样相位的差相对应地进行旋转。为了使各自的相位 关系容易理解，各帧的原成分的相位关系如该图(b)所示，各帧的折 返成分的相位关系如该图(c)所示。