[发明专利]一种具有大范围旋转及平移运动估计的实时电子稳像方法

说明书

技术领域

本发明涉及具有大范围旋转及平移运动估计的实时电子稳像方法，属于数字图像处理技术。

背景技术

安装在不稳定载体上的成像设备，载体的晃动会导致拍摄的视频图像出现抖动，严重影响观赏者的观看体验，在诸如机器人视觉、成像制导等场合，视频图像抖动会直接影响视频信息的后续处理。因此，抑制图像抖动，获得稳定的视频图像是高质量视频最基本的要求。

常用的视频图像抖动抑制方法有：光学稳像、机械稳像和电子稳像。前两种方法是基于传感器件对摄像机运动的测量，直接对镜头或CCD传感器进行运动补偿以抵消一部分载体抖动。而电子稳像是基于数字图像处理技术的一种视频稳定方案，较前两种方法，采用软件算法代替了运动测量元件和运动补偿装置，因此在成本、稳定性、体积方面均有明显优势。同时，移动处理芯片处理能力的大幅度提高也加速了电子稳像方法的应用。

电子稳像技术的主要结构流程包括图像运动估计、运动滤波和图像抖动补偿。在上述结构框架下，近些年来，许多研究者又提出了一些电子稳像新理论，或者从某些方面对现有稳像算法进行了改进。但总体而言，电子稳像方法按照图像运动估计方法的不同分为基于图像特征的电子稳像方法、基于光流信息的电子稳像方法和基于灰度信息的电子稳像方法。

基于图像特征或基于光流信息的电子稳像方法在进行运动估计时，需对图像的特征进行提取或者对灰度像素的运动进行微分求解，而基于灰度信息的电子稳像方法仅涉及到灰度信息的相关性计算。相比于前述两种电子稳像技术，基于灰度信息的电子稳像技术在算法的时间复杂度和空间复杂度上有明显优势，更有利于实时稳像场合下的应用。

块匹配电子稳像是一种常用的基于灰度信息的电子稳像方法，其主要原理是在待进行运动估计的图像上选择一定数量的灰度宏块，并通过一定的搜索策略在参考帧图像上找出最佳匹配位置，进而确定出待估计图像相对于参考帧图像的运动参数。上述过程中，灰度宏块的大小和数目是块匹配稳像速度的决定因素。为了减小上述因素的限制，一些学者又提出了一种基于图像位平面（Bit面）的运动估计方法，即利用图像在数字存储器中二进制存储的特点，构建图像位平面再进行块匹配。该基于图像位平面的运动估计过程由于仅涉及二值运算，算法的执行效率进一步得到了提高，而算法时间复杂度主要决定于最佳块匹配位置的搜索策略，常用的搜索策略为菱形搜索法。近些年又有学者提出一种六边形搜索算法，并且相同条件下六边形搜索算法具有更高的搜索效率，搜索时间是菱形搜索法的一半。

基于块匹配的稳像方法在运动估计过程中，无论采用上述何种搜索算法，常见的问题是搜索范围的局限性。具体体现为当图像帧间的运动量过大时，搜索过程常陷入局部最优，无法准确进行运动估计，所以限制了稳像算法的运动估计范围。上述问题主要是由于匹配块在离最佳匹配中心位置较远时相关程度低所导致的，即当图像帧间存在较大的运动时，待估计图像上的某一匹配块的取块位置也就是搜索的起始位置距离最佳匹配中心较远，这样在搜索过程中就容易进入局部最优匹配区域。对于位平面上的块进行最佳匹配位置搜索时，由于位平面本身包含图像信息量少，所以更容易出现上述问题。例如实验表明，采用大小为40X40的匹配块在位平面上进行六边形搜索，有效的搜索半径仅为5像素，所以当帧间存在大于5像素的抖动量时，这种方法就不在胜任。

采用块匹配进行图像运动估计，如何在所有块运动结果中剔除错误估计值决定了最终图像运动估计结果的准确性。出现错误块运动估计结果的主要原因是匹配块自身的位置选择不当，即这些取块位置常落在前景运动物体上或落于图像灰度色调单一区域，导致对应块运动估计错误。为了解决上述问题，本专利申请者曾在论文《大运动前景和旋转抖动视频快速数字稳定》中提出了一种基于图像位平面金字塔的自适应取块稳像方案，即首先在图像位平面金字塔顶层确定一种最佳的匹配块位置选择模式，利用此模式确定顶层位平面的运动，然后逐层传递以估计图像的最终运动参数。其中，在顶层确定最佳取块模式时，首先采用预设的取块模式1进行取块并进行块匹配，统计块匹配结果的一致性，若一致性指标超过某一阈值，则将此模式作为顶层最佳取块模式。否则换用预设取块模式2进行运动估计，同样对块运动结果进行统计分析。上述方法在一定程度上可以保证取块的合理性，能够避免图像某一区域中的大运动前景和单一色调块对于最终运动结果的不利影响。但是当单一色调灰度信息占视频图像大部分面积时，无论怎样进行取块，最终的块运动估计结果都无法满足良好的一致性，所以上述方案无法进行解决。