[发明专利]图像处理装置和图像处理方法

说明书

相关申请的引用

本发明包含有2008年4月15日向日本专利局提交的日本优先 专利申请JP 2008-105248中所公开的主题，其全部内容结合于此作 为参考。

技术领域

本发明涉及用于计算表示在两幅画面(screen image)之间的整 个图像的变形的全局运动的图像处理装置和图像处理方法。

背景技术

根据图像信息本身确定两幅画面之间的运动矢量的块匹配技 术是一种具有很长历史的技术。

块匹配技术是一种用于计算两幅画面之间的运动矢量的方法， 这两幅画面包括：参考画面，其为受关注画面；以及原始画面(下 文中，称作目标画面)，参考画面的运动源于该原始画面。根据块 匹配技术，通过相对于预定尺寸的矩形区域的块(目标块和参考块) 计算参考画面和目标画面之间的相关性，来计算运动矢量。

块匹配技术包括两种情况，包括目标画面在时间上先于参考画 面的情况，以及参考画面在时间上先于目标画面的另一情况。前一 种情况的实例为通过MPEG(活动图像专家组)系统的运动检测， 而后一种情况的实例为通过下文所述的图像帧的叠加来降噪。

注意，在本说明书中，术语画面表示由一个帧或者一个场的图 像数据所形成的图像。然而，为了描述方便，在本说明书的以下描 述中，假设由一个帧形成一幅画面。因此，下文中，一幅画面被称 作帧。因此，参考画面在下文中称作参考帧，而目标画面在下文中 称作目标帧。

特别是对电视摄像机的图像拾取目标跟踪和云台(pan-tilt)检 测、MPEG系统的移动图像代码等开发了块匹配的移动矢量检测方 法。在九十年代，已经促进了包括通过图像叠加实现的无传感器相 机抖动校正、在低亮度环境中图像拍摄时的降噪等的广泛应用。

此外，块匹配的移动矢量检测方法不仅应用于图像识别应用和 相机抖动校正应用，而且应用于像图像拾取装置的快门速度自动调 节和液晶电视机的双速帧速率变换的新应用。

顺便提及，检测设置在画面中的大量目标块中的每块的运动矢 量，即，局部运动矢量，并且使用以这种方式检测的大量局部运动 矢量计算全局运动，所述全局运动表示应用于在两幅画面之间的整 个图像的变形。全局运动通常指出图像背景的运动和运动量。

作为现有技术，在日本专利公开第2007-221631号(下文中， 称作专利文件1)中公开了一种失真校正方法，该方法将一幅画面 划分为多个块并且对这些块中的每一个确定一个矢量。然后，以这 种方式所确定的运动矢量直接被用于计算全局运动。专利文件1的 技术已经被用作主要用于移动图片的相机抖动校正技术，直到几年 前，当时的像素数量较小。

对于在专利文件1中所公开的技术，可以使用低成本的硬件规 模检测全局运动，并实现用于高图片质量的移动图片和静止图片的 良好的无传感器或者无陀螺仪相机抖动校正和降噪。

然而，在将一画面划分为比较大的块(例如约16块)的情况 下，存在这样的问题，当在图像中包括移动图像拾取对象时，难以 跟踪移动图像拾取对象。

因此，如果块数增加至例如约64块，则可以使用关于比较小 的图像区域的大量局部运动矢量，因此，可能使移动图像拾取对象 的移动达到某种程度。然而，在采用刚刚描述的这种结构的情况下， 使用专利文件1的技术会产生这样的问题，硬件规模增加并且作为 专利文件1的技术优势的成本优点大都不能达到。

与此同时，作为确定全局运动的方法，已经公开了将仿射变换 (affine transformation)应用于多个检测的局部运动矢量的方法。

图34示出了如(表达式1)的仿射变换的通用公式。参照图 34，在(表达式1)中，v表示目标块的移动矢量的水平分量，w 表示目标块的移动矢量的垂直分量，以及a、b、c、d、e和f表示 仿射参数。在常用仿射变换中，仿射参数a、b、c、d、e和f为固 定值。此外，x和y分别表示目标块的中心坐标的水平分量和垂直 分量。

采用每个目标块的中心坐标和通过全局运动的收敛数学运算 处理确定的仿射参数，获取与全局运动相对应的运动矢量。下文中， 刚刚所提到的这种运动矢量称作理想运动矢量。如图35的(表达 式2)表示理想矢量和观测到(通过块匹配所检测)的运动矢量之 间的误差的总和ε。