[发明专利]图像处理装置及图像处理方法

说明书

相关申请的交叉参考

本发明包含于2007年10月22日向日本专利局提交的日本专 利申请JP2007-273606的主题，其全部内容结合于此作为参考。

技术领域

本发明涉及一种图像处理装置和图像处理方法，用于检测在两 个不同画面或画面图像间的移动矢量。在本说明书中，术语“画面” 或“画面图像”用于表示由一个帧或一个场的图像数据所形成的并 作为图像显示在显示装置上的图像。

背景技术

通过图像信息本身来确定两个画面间的移动矢量的块匹配方 法是具有很悠久历史的技术。主要关于电视摄相机的云台检测或图 像拾取对象跟踪、MPEG(移动图像专家组)方法的动态图像编码 等的块匹配技术的开发取得了进展。进入九十年代之后，通过图像 的叠加将块匹配方法进行了各种应用，例如无传感器相机震动校正 或在低亮度图像拾取时的降噪。

块匹配为这样一种方法，其中，通过计算关于预定大小的矩形 区域的块在参考图像和基础画面之间的相关性来计算两个画面之 间的移动矢量，所述两个画面包括作为关注画面的参考画面和作为 确定参考画面移动的基础的基础画面(下文中，称作目标画面)。 参考画面图像和目标画面图像可以具有这样的两种时间关系，其一 为例如在根据MPEG的移动检测的情况下，目标画面图像在时间上 先于参考画面图像，其二为例如在通过下文中所描述的图像帧的叠 加来降噪的情况下，参考画面图像在时间上先于目标画面图像。

需要注意，尽管如上所述在本说明书中画面或画面图像用于表 示由一个帧或一个场的图像数据所形成的图像，但是在下面的描述 中假设画面图像由一个帧形成，并且为了描述方便在下文中称作 帧。因此，参考画面图像在下文中被称作参考帧，而目标画面图像 在下文中称作目标帧。

图51A～图56示出了相关技术的块匹配的概要。在此处所描 述的块匹配方法中，例如，如图51A所示，目标帧或基础帧100被 分成多个包括在水平方向上的多个像素和在垂直方向上的多条线 的预定大小的被称作块的矩形区域。目标帧的多个块102的每一个 在下文中均被称作目标块。

在块匹配中，从参考帧101中搜索与目标块102具有高相关性 的块。作为搜索结果被检测为在参考帧101中具有最高相关性的块 的块103(参照图51B)被称作移动补偿块。此外，目标块102和 移动补偿块103之间的位置偏移量被称作移动矢量(参照图51B中 的参考数字104)。

在假设目标块102的投影图像块109位于参考帧101中与目标 帧100的目标块102的位置相同的位置处的情况下，与包括位置偏 移量和位置偏移方向的目标块102和移动补偿块103之间位置偏移 相应的移动矢量104，对应于目标帧100的每个目标块102的投影 图像块109的位置(例如，中心位置)与移动补偿块103的位置(例 如，中心位置)之间的位置偏移。此外，在这种情况下的位置偏移 具有位置偏移量和位置偏移方向组分。

描述了块匹配处理的概要。如图52中的虚线所示，在参考帧 101上，假设目标块的投影图像块109位于与目标帧100的目标块 102的位置相同的位置处，并且，目标块的投影图像块109的中心 的坐标被定义为用于移动检测的原点105。随后，假设移动矢量104 存在于包括用于移动检测的原点105的范围内，将以原点105为中 心的预定范围设置为搜索范围106(参照图52中的点划线)。

随后，将具有与目标块102相同大小块(参考块)108设置在 参考画面图像上。随后，在搜索范围106内的例如水平方向和垂直 方向上将参考块108的位置移动一个像素或多个像素的单位距离。 因此，在搜索范围106中，设置了多个参考块108。

此处，由于在本实例中原点105为目标块的中心位置，所以在 搜索范围106中移动参考块108表示在搜索范围106内移动参考块 108的中心位置。因此，构成参考块108的某些像素有时会从搜索 范围106中突出。

随后，为在搜索范围106内设置每个参考块108，设置在下文 中被称作参考矢量(参照图52)的矢量107，该矢量表示参考块108 和目标块102之间的位置偏移量和位置偏移方向。随后，评价位于 通过每个参考矢量107所表示的位置处的参考块108的图像内容和 目标块102的图像内容之间的相关性。