[发明专利]基于积分图特征块匹配的实时视频稳像方法

说明书

技术领域

本发明涉及是一种可广泛用于手机、数码相机、摄像机等消费电子类产品，同时亦可广泛用于飞机、舰船、卫星、导弹等所装备的摄像和监视系统中的实时视频稳像方法，具体是一种基于积分图特征块匹配的实时视频稳像方法。

背景技术

摄像机在移动过程中拍摄的视频序列，不仅包含了摄像机的主动运动部分，同时也引入了不规则的随机运动，这种随机运动的存在，会造成视频的抖动和模糊，严重影响了人的视觉感受，视频稳像的目的就是消除或削弱这种随机运动对视频画面所造成的破坏性影响。视频稳像的实现包括运动估计、运动滤波和无效区域补偿三个模块，针对这三个模块，国内外学者提出了很多方法。在运动估计方面，有基于块、基于特征点、基于位平面等方法；在运动滤波方面，有加权均值滤波、卡尔曼滤波(Kalman Filter)等；在无效区域补偿方面，有基于图像放大、基于视频修复(Video Inpaint)等方法。尽管提出了这么多方法，但是这些方法在速度和效果上仍没能做到很好的折中，比如：在运动估计方面，基于块的方法，速度快，但是受光照影响较大，基于特征点方法，具有较好的抗光照效果，但是对局部运动较敏感，基于位平面方法，对光照不敏感，但是速度较慢且数据存储量较大。

另外在运动滤波方面，基本都是采用传统卡尔曼滤波或加权均值滤波，滤波的响应性不好，有的滤波方法利用未来帧信息进行前向平滑处理，尽管滤波效果较好，但是由于利用未来帧信息不能实时处理；无效区域补偿方面，目前较好的一种方法是利用视频修复思想来实现，但是这种方法致命缺点是速度慢并且依赖未来帧信息，无法实时处理。因此，对于一个鲁棒的视频稳像器而言，设计一组实时有效的运动估计、运动滤波和无效区域补偿方法显得非常重要。

最后，经对现有技术文献的检索发现Marius Tico在《IEEEInternational Conference on Image Processing》(pp569-572，2005)上发表“Constraint motion filtering for videostabilization”(基于约束运动滤波的视频稳像方法，图像处理IEEE国际会议)，该文采用了特征点跟踪方法及带约束限制的卡尔曼运动滤波方法，试验结果表明该方法有较好的稳像效果，但是文中的运动估计采用了基于全像素的特征匹配，精度高，但是速度慢，同时文中采用了基于匀速模型的卡尔曼运动滤波方法，当运动模型匹配时，滤波效果较好，但是一旦模型发生变化，则滤波效果会受到很大影响，而实际摄像机在拍摄过程中往往不符合匀速运动规律。

发明内容

本发明所要解决的技术问题是提供一种基于积分图特征块匹配的实时视频稳像方法，它增强了摄像设备的抗光照和图像噪声的能力，提高了全局运动参数估计的鲁棒性，进而提高了摄像设备对复杂环境下的视频稳像能力。

为了解决以上技术问题，本发明提供了一种基于积分图特征块匹配的实时视频稳像方法，它包括如下步骤：第一步，对当前帧进行块分割，第二步，利用积分图特征描述每个块内容，第三步，以积分图特征误差最小为匹配准则对每个块进行块匹配运动估计，第四步，统计所述块的运动向量获取当前帧相对于前一帧的全局运动参数，第五步，对全局运动参数进行运动滤波处理，第六步，根据滤波结果进行运动补偿。

另外，所述第四步包括：第4-1步，判断块运动是否异常，如果不异常则标注为有效块，第4-2步，统计所述有效块平移量的平均值估算出全局平移参数，第4-3步，根据所述全局平移量估算出每一个有效块相对于前一帧中的匹配块的旋转和缩放量，第4-4步，统计所述的旋转和缩放量估算出全局的旋转和缩放量。

其中，所述第五步滤波处理是采用粒子滤波方法进行运动滤波处理，并且所述第五步粒子滤波方法中的重要性采样通过自适应卡尔曼滤波方法获取。