[发明专利]基于全局特征点迭代的全景稳像方法

说明书

技术领域

本发明属于图像处理技术领域，涉及图像的稳定处理，具体的说是一种视频序列电子稳像方法，可用于消除运动载体对视频序列的影响，有效稳定输出视频，改善视频监控或者跟踪系统的观测效果。

背景技术

随着电视摄像系统在各领域中的广泛应用，对图像信息的确定性要求也在不断提高，其中最基本也是最重要的一点，就是要求视频图像画面质量高，有一定的清晰度和稳定性。而电视摄像系统的工作效果往往会受到载体不同时刻的姿态变化或者振动的影响，从而反映到监视器上，使得获得的图像信息不稳定，甚至模糊。由于这种不稳定的图像对于观察者会产生疲劳感，因而导致误判和漏判；对于目标自动识别系统，会导致漏警和虚警。所以，在运动的载体中，摄像系统的稳像是一个十分重要的问题，特别是在长焦距，高分辨率的监视跟踪系统中尤为突出。

国内稳像技术的研究起步较晚，最初多是利用陀螺传感器和伺服系统构成陀螺稳定平台实现机械式稳像。自上世纪90年代开始提出电子稳像方法，但传统的方法主要集中在快速估计视频帧间的平移或者旋转运动上，其前提是对运动产生的起因作理想的假设，且对运动的补偿方法也未作深入研究。而在实际应用中，帧间运动的产生有多种起因，比如摄像系统的随机抖动、有意跟踪扫描、拍摄场景中前景目标的运动、背景中小物体的移动等，正是这些多起因的相互影响，对于运动的估计以及后续处理，提出了较高的要求。

目前，电子稳像方法中常用的运动参数估计方法主要分为以下几类：

(1)基于像素灰度信息法。该方法利用空间像素点的灰度值之间的关系，如像素相关法、像素递归法和光流场法等。这类方法的特点是算法思路简单，但是计算较为复杂不利于实时系统，且稳像精度易受噪声影响，其精度不高。

(2)基于图像块信息匹配法。该方法以参考帧中图像块为基准，在当前帧中寻找相似度最高的图像块，其位置之差就是运动偏移量。其缺点是只能求取平移运动，而实际应用中，图像之间同时存在旋转运动和比例缩放，而且研究表明，人眼对于旋转运动十分敏感，故不能忽略旋转运动。

(3)基于图像特征信息法。该方法选取图像中的有明显特征的特征量作为运动估计的基本单元，进行特征跟踪。这类方法能较好地接近人的视觉特性，通常提取的图像特征是边缘、直线以及点特征，其中边缘和直线特征提取步骤复杂，不利于实时处理。因此，本发明是基于图像的特征点信息，其技术关键是点特征提取的全局性和定位的精确性。

电子稳像方法中另一关键技术就是图像运动补偿方法，即利用已知全局运动参数对当前图像直接进行补偿作为输出图像，输出图像的边界信息会有丢失。图像运动补偿的难点在于：需要补偿的仅为摄像机的随机抖动，而应保留正常的扫描运动，从而达到既能有效减轻摄像机的抖动，同时又能实时跟踪真实场景。因此，在运动补偿时，应对全局运动矢量中的平稳运动量和不稳定运动量进行区分，即对运动矢量信号进行滤波处理，从而提取出抖动分量进行补偿。已有的滤波方法存在不同的缺陷，例如：均值滤波法，容易出现过稳或者欠稳现象；曲线拟和法又会导致较大延迟，不能实时应用；惯性滤波法需要事先对运动类型进行准确设置。因此，需要寻找适合稳像系统的达到实时稳定运动矢量序列的自适应滤波方法。

上述已有运动估计方法和图像补偿方法的不足，造成对图像运动参数的估计精度不高，不能实时处理摄像机的复杂随机抖动和复杂运动场景，无法跟随扫描运动，且边界信息的丢失现象会降低输出视频的质量。

发明内容

本发明的目的在于避免上述已有技术的不足，提出一种基于全局特征点迭代的全景稳像方法，一是解决对复杂环境的全局运动参数的快速精确估计，二是解决对全局运动参数进行实时自适应滤波提取抖动参数，并实现图像的全景补偿，以消除或者减轻视频序列的不稳定现象，改善视频监控或者跟踪系统的观测效果。

本发明的目的是这样实现的：

本发明主要包括基于特征点迭代的图像运动参数估计和基于滤波的图像运动补偿两部分。其中，全局运动参数的估计是充分利用特征跟踪的思想，将图像中最稳定的Harris特征点与特征窗相结合，通过距离一致性验证和特征点迭代更新，逐渐删除局部特征点，使得全局特征点集合快速收敛，以准确求取全局运动参数。运动图像的补偿是利用信号处理的方法滤波提取抖动参数，仅对实际抖动参数进行补偿而保留摄像系统的正常扫描运动，同时在补偿时结合图像融合实现全景图像的输出。具体方案如下：

一.基于特征点迭代的图像全局运动参数估计方法，包括如下步骤：