[发明专利]图像处理装置及图像处理方法

说明书

技术领域

本发明涉及图像处理装置、图像处理方法、图像处理程序及存储介质。

背景技术

以往，作为图像处理装置，已知有采用CMOS（Complementary Metal Oxide Semiconductor，互补式金属氧化物半导体）对以焦平面快门方式拍摄的图像进行处理的装置（参照专利文献1）。在上述方式中，逐行地进行帧图像的数据转送。因此，帧图像内的拍摄定时成为每行略微不同的定时。由于这样的拍摄定时的偏移，发生所谓的滚动快门失真（焦平面失真）。

在专利文献1所述的图像处理装置中，采用摄像机动作（camera motion）分量及滚动快门失真分量等将表示画面整体的运动的全局运动矢量模型化。而且，该图像处理装置检测全局运动矢量，利用上述模型从检测出的全局运动矢量中分离出各分量，计算摄像机动作分量或滚动快门失真分量。

【现有技术文献】

【专利文献】

【专利文献1】

日本特开2010－193302号公报

发明内容

但是，在专利文献1所述的图像处理装置中，有时候无法正确算出滚动快门失真分量。例如，在拍摄场景内存在不同运动的多个被摄体的情况下，该多个被摄体的运动有时反映到全局运动矢量。该情况下，全局运动矢量与专利文献1所述的模型之间产生误差，因此获得的滚动快门失真分量发生误差。而且，在专利文献1所述的模型中，为了计算表示滚动快门失真的扩大缩小的分量及表示平行四边形的失真程度的分量，需要各个全局运动矢量的多个分量。因而，在滚动快门失真分量的计算中容易产生误差。

因此，在该技术领域中，期望一种能够稳定且正确地估计滚动快门失真分量的图像处理装置、图像处理方法、图像处理程序及存储介质。

即，本发明的一方面的图像处理装置是处理连续的多个帧图像的图像处理装置。该装置具备图像输入部、平行移动量取得部及失真分量估计部。图像输入部输入多个帧图像。平行移动量取得部取得2个帧图像之间的平行移动量。失真分量估计部将表示帧图像间的运动的运动矩阵近似为仅由平行移动分量及滚动快门失真分量组成，利用平行移动量逐个帧图像地算出滚动快门失真分量所包含的临时失真系数，利用算出的多个临时失真系数估计失真系数。

在该图像处理装置中，将表示帧图像间的运动的运动矩阵近似为仅由平行移动分量及滚动快门失真分量组成。通过这样的近似，利用帧图像间的平行移动量能够计算出滚动快门失真分量所包含的临时失真系数。而且，通过利用算出的多个临时失真系数估计失真系数，可以估计出更合适的失真系数。因此，能够稳定且正确地估计滚动快门失真分量。

在一个实施例中，失真分量估计部可以将多个临时失真系数的平均值或中值估计为失真系数。另外，在一实施例中，失真分量估计部可以在以滚动快门失真分量及平行移动量为坐标轴的2维平面上描绘临时失真系数，根据回归直线的斜率来估计失真系数。通过这样的估计，可以用多个临时失真系数来估计合适的失真系数。

在一个实施例中，失真分量估计部可以在临时失真系数大于帧图像的行数的倒数的情况下，将该帧图像的临时失真系数校正为帧图像的行数的倒数。另外，在一个实施例中，失真分量估计部可以在临时失真系数大于帧图像的行数的倒数的情况下，不用该帧图像的临时失真系数来估计失真系数。通过这样的校正，即使临时失真系数的一个为不合适的值的情况下，也能够估计适当的失真系数。

在一个实施例中，失真分量估计部可以在估计出的失真系数大于帧图像的行数的倒数的情况下，将估计出的失真系数校正为帧图像的行数的倒数。通过这样的校正，可以避免最终的失真系数成为不合适值。

另外，本发明的其他方面的图像处理方法是处理连续的多个帧图像的图像处理方法。该方法具备图像输入步骤、平行移动量取得步骤及失真分量估计步骤。在图像输入步骤中，输入多个帧图像。在平行移动量取得步骤中，取得2个帧图像之间的平行移动量。在失真分量估计步骤中，将表示帧图像间的运动的运动矩阵近似为仅由平行移动分量及滚动快门失真分量组成，利用平行移动量逐个帧图像地算出滚动快门失真分量所包含的临时失真系数，利用算出的多个临时失真系数估计失真系数。