[发明专利]一种基于光流映射重复区域检测的图像配准鬼影消除方法

说明书

本发明公开了一种基于光流映射重复区域检测的图像配准鬼影消除方法。本发明首先使用参考帧图像和待配准帧图像间的光流对两张图像进行预配准，再记录待配准图像中的每个像素在预配准结果中的对应位置，将待配准图像中被使用多次的像素在预配准结果中的对应位置作为疑似鬼影位置，在若干候选鬼影像素中剔除与参考帧图像最相似的像素，其余像素判定为鬼影，最后，在检测出的鬼影位置使用参考帧图像的对应像素对预配准结果进行替换，从而得到无鬼影的图像配准结果。本发明精度高、效率高，能在不增加配准算法时间复杂度的情况下有效地去除鬼影，是一种能在实际相机成像系统中实现图像配准去鬼影的实用方法手段。

技术领域

本发明属于数字图像处理技术中的图像配准技术领域，具体涉及一种基于光流映射重复区域检测的图像配准鬼影消除方法。

背景技术

图像的多帧融合技术广泛应用在HDR、多帧降噪、图像超分辨等智能手机图像处理任务中。图像配准是多帧融合算法的必备模块。传统全局配准方法基于特征点匹配计算一个全局变换矩阵对图像进行变换，然而受限于图像各部分间可能存在不同的变换关系以及图像中可能存在运动物体等原因，传统全局配准算法的输出结果存在缺陷。

稠密光流输出两帧图像中每个像素的位移，使用光流进行局部配准有不受单一变换矩阵限制的优点，可以在图像的各个区域都获得较好的配准结果。然而，由于两张图像在遮挡区域不存在正确的像素对应关系，使用光流法配准在遮挡区域会出现鬼影现象。鬼影的定义为在配准结果中同一个物体重复出现多次。现有的鬼影检测算法一般基于帧间差分，在差分计算的基础上通过不同的公式变换检测鬼影。这些算法没有结合光流的性质和鬼影现象出现的原因设计算法，从而造成重复计算，算法效率低。除此之外，由于两张图像之间的曝光参数可能存在不同，使得两张图的平均亮度不同，使得基于差分的鬼影检测、消除算法在不同场景下的阈值难以统一，模型的鲁棒性和精确度存在缺陷。

因此，目前缺乏一种高效、稳定的图像配准鬼影检测、消除算法。

发明内容

为了解决背景技术中的问题，本发明提出了一种基于光流映射重复区域检测的图像配准鬼影消除方法，可有效解决目前光流法配准中常用的基于差分的鬼影消除算法运行效率低、鲁棒性差的技术缺陷。

本发明采用的技术方案如下：

包括以下步骤：

1)选取在同一场景下获取的两张有相对位移的图像，将其中任意一张设为参考帧图像I_R，另一张则为待配准帧图像I_T，计算两张图像间的光流f；

2)使用光流f对参考帧图像I_R和待配准帧图像I_T进行预配准：以参考帧图像I_R为基准，使用光流f将待配准帧图像向参考帧图像映射，得到预配准结果I_warp；

3)记录在预配准过程中被重复使用的待配准帧图像像素，将记录的待配准帧图像像素在预配准结果I_warp中对应的像素加入疑似鬼影区域掩模Mask_ori。

4)计算疑似鬼影区域掩模Mask_ori中的像素与对应的参考帧图像像素的差分绝对值S，将差分绝对值最小的像素从Mask_ori中剔除，得到优化的鬼影检测结果Mask_opt；

5)使用一次形态学腐蚀操作去除优化的鬼影检测结果Mask_opt中鬼影掩模的噪声，再使用两次形态学膨胀操作使优化的鬼影检测结果Mask_opt中的鬼影掩模连续，从而得到最终鬼影掩模Mask_final；

6)将预配准结果I_warp中被最终鬼影掩模Mask_final记录的像素用参考帧图像I_R中对应的像素替换即得最终的无鬼影配准结果，公式如下：