[发明专利]一种全局运动向量估计方法及电子防抖方法

说明书

本发明公开了一种全局运动向量估计方法及电子防抖方法，包括以下步骤：图像数据预处理；划分图像搜索窗口；计算搜索窗口内的运动向量；进行预过滤处理获得全局运动向量；运动平滑滤波获得运动补偿量；进行运动补偿后输出图像；采用多尺度全局运动估计算法，二维转成两个水平和垂直方向一维与参考帧绝对值差的和(SAD)计算方式，保留参考帧的独特方式，只需要少量行累计和列累计(统计信息,极大的节省了资源，提供运算的效率；以及多尺寸上过滤局部物体运动对全局运动估计的影响，而且只增加少量计算量；低功耗、高实时、实现简单可靠、没有使用复杂的运算、占有资源极少、更有利于集成电路设计开发。

技术领域

本发明涉及视频图像处理领域，尤其涉及一种全局运动向量估计方法及电子防抖方法。

背景技术

目前图像处理应用领域中经常会用到电子防抖技术，对拍摄的图像和视频进行高频抖动进行过滤和校正处理，来消除背景高频抖动对人眼视觉产生不良影响，从而提供图像视频稳定性和客观性；考虑算法要在芯片或者可编程门电路上实现，要求更少硬件资源、实现性，复杂的算法需要更多资源，不易实现并集成到低功耗图像处理模块中；

通常情况传统的电子防抖处理思路情况分为(图1)

1全局运动估计，估计背景物体运行情况，避免前景物体影响；

2运动平滑处理，过滤运动中高频抖动信号，造成视觉不适的原因；

3运动补偿处理；

电子防抖技术的核心有全局运动估计和运动平滑，考虑到低功耗集成电路(ASIC)场景中，常见的全局运动估计方法有:基于光流法、基于区域块匹配的方法、基于图像特征的方法等多种算法；参见运动平滑滤波器主要有卡尔曼滤波器、高斯滤波、均值滤波、阻尼滤波器以及改进；

考虑到实际应用场景下，电子防抖使用算法实现要适应在低功耗高实时性场景下片上系统(SoC)应用场景，考虑对电子功能模块的集成电路的面积的严格要求下；优化算法实现逻辑，实现软件和硬件相结合、协同实现思路，最大化统筹合理使用片上系统(SoC)的硬件资源(包含中央处理单元(CPU)、图形处理单元(GPU)、神经网络处理单元(NPU)、图像处理单元(ISP))；

全局运动估计方法中，其他算法主要问题有：

1、光流法是常见的运动估计算法。而光流法优势在于不需要复杂算子，无需了解场景等信息，不需要太多匹配特征点，并可以灵活选择关键点的提取方法和采点数量，对于光流法而言，要求相机运动不能过大，光流法比较耗费时间、计算复杂性大，并且抗噪声的能力很差，对实时性要求苛刻的情况下并不适用；由于变化的光线会被错误地识别为光流,因此该方法对光线敏感,从而会影响到识别效果。

2、特征点匹配算法常见有SIFT、ORB，一般流程分为特征点检测、算子计算、特征点匹配、符合要求匹配点筛选，特征点方法在图像特征点明显时有较好的匹配效果，但当特征点过多或过少时都效果较差，且整个计算过程十分耗时；

上述算法都需要大量的计算单元和内存空间，在片上系统(Soc)中占有大量芯片的面积，不利于低功耗的应用；

因而采用块匹配运动估计，但是传统的块匹配存在问题：精度不高、搜索范围较小、计算量较大、不能有效区分全局运行和局部运动；

对于运动滤波算法而言，通常使用优异的卡尔曼滤波算法，但是计算量较大，需要更多缓存空间使用，而阻尼滤波结构简单高效，对硬件的实现更加友好；结合卡尔曼滤波特点，本次使用阻尼滤波算法，而公开的阻尼滤波器有突变运动会有累计效应，目前无法有效解决该问题；