[发明专利]数字图像稳定设备和方法

说明书

技术领域

本发明构思这里涉及数字图像稳定(DIS)，而且更具体地，涉及检测、选择、和分组用于数字图像稳定的特征点的方法。

背景技术

数字照相机、数字摄像机和包括这样的摄像头的手持设备常常用来在摄像头在人类操作员的手中操作时捕获图像或视频。因此，在捕获图像或视频时摄像头可能在操作员手中摇晃或抖动。该抖动可以包括水平分量、垂直分量、和旋转分量。旋转可以沿与图像捕获电路的聚焦平面垂直的轴，或者沿与图像捕获电路的聚焦平面平行的轴，或者沿在垂直轴与平行轴之间歪斜的轴。抖动可以使得手捕获的视频让观看者分心或迷惑，因此期望使用数字电路来数字估计摄像头轨迹(即，在每对连续帧之间检测的抖动)并且从相同场景的视频帧的序列中过滤该抖动。用于估计连续视频帧之间的摄像头轨迹并且用于从视频帧的序列中过滤由摄像头轨迹造成的抖动的电路可以包含在摄像机本身中，并且在存储捕获的视频帧之前(例如，如果摄像机包括实时MPEG编码器则在MPEG编码之前或在其期间)被激活以实时取消抖动。替换地，用于估计连续视频帧之间的摄像头轨迹并且用于从视频帧的存储序列中过滤抖动的电路可以是由实现数字图像稳定(DIS)方法的软件控制的通用微型计算机，或者可以是专用硬件，诸如嵌入在优化用于执行数字图像稳定(DIS)方法的ASIC(专用集成电路)中的MPEG视频编码器。

通过稳定的、固定或移动摄像机产生的视频在捕获的视频中主要包含平滑的运动(平移、旋转)。另一方面，不稳定的摄像机产生贯穿视频图像中具有高频抖动(平移和/或旋转)的视频。

从物理成像设备捕获的数字图像序列常常显示不希望的高频抖动运动。图像序列中呈现的抖动运动的量取决于图像捕获设备相对于捕获序列中的对象的物理性质。景深和成像器的底座的不稳定性(取决于底座的重量、惯量、平衡)组合以产生不希望的抖动全局运动。

数字图像稳定(DIS)系统首先估计不希望的(无意的)运动，然后对图像序列施加校正。稳定视频的视觉效果高度依赖于摄像头轨迹估计的质量。数字图像稳定(DIS)算法使用有效跟踪的特征点来估计两个连续帧之间的抖动运动。数字视频稳定采用硬件和/或软件方法，用于从包含由不稳定摄像机造成的不期望抖动运动的不稳定的视频中产生空间稳定的视频。在传统DIS技术中，通过分析场景中不同的点的运动矢量来检测摄像头运动。但是运动矢量可以由对象运动以及摄像头运动引起。

存在这样的函数，其提供帧的每个像素的数字分数，指示该点作为在时间相邻的帧中能够检测的特征点有多合适。这样的函数的一个示例是哈里斯角点检测器(Harris Corner Detector)。然而，特征点的幅度对于图像的不同部分通常很不同。DIS方法可以采用全局阈值与每个像素的数字分数进行比较，这并不必然导致特征点的最优分布。因此，在低对比度的区域(例如，无云的蓝天导致稀散的或没有特征点)中可能特征点太少，而在具有许多结构的区域中，特征点可能彼此过于接近。特征点的分布不当可能增加计算过于接近的特征点的冗余运动矢量的计算负担，并且可能无法提供准确的运动矢量。

在数字图像稳定(DIS)方法的实施方式中，期望最小化计算开销以便减少电路的功耗和减少执行DIS方法所需的时间。还期望检测和测量摄像头的轨迹并准确地刻画抖动以使得可以从存储/显示的视频中正确地补偿和正确地取消抖动。

在数学中，仿射几何是通过仿射变换(即，非单线性变换和转换)依然不改变的几何性质的研究。已经发展了被称为仿射矩阵的由数字系数定义的数学方程组来刻画在每对连续帧之间或在其各部分(例如，帧中的运动对象)之间检测的运动的横向(上/下)、旋转、和标量(例如，放大或缩小)。

因此，抖动可以通过被称为主变换或全局变换的相对于场景中的任何实际固定对象(例如，岩石、桌子、停驻的汽车、高山、太阳)的第一仿射变换矩阵来刻画，同时帧中的任何运动对象(例如，鸟、人、球、移动的车)可以通过另外的仿射矩阵来刻画。

主变换(主帧间变换)指示可能由用户的手抖动造成的摄像头运动，其可以通过检测与在时间t捕获的每个帧的实际固定对象关联的一个或多个兴趣点(称为“特征点”)、然后在时间相邻帧(t+1)中搜索相同的特征点、并且计算每个特征点的运动矢量来计算。与特定对象关联(一起分组)的多个运动矢量然后被用于计算该对象的仿射变换，其根据仿射公式定义其检测的运动：

x′＝sx*x+ry*y+tx

y′＝rx*x+sy*y+ty