[发明专利]一种多帧图像配准与融合去噪的方法

说明书

本发明公开了一种多帧图像配准与融合去噪方法。本发明包括：(1)选取参考帧与待配准帧；(2)利用相机运动模型将待配准帧配准到参考帧，获得一次配准图；(3)利用特征图估计场景目标运动并获得运动矢量信息，对一次配准图进行配准获得二次配准图；(4)对于二次配准图计算一致性像素图；(5)对二次配准图进行像素域融合和变换域融合；(6)对融合后的结果进行自适应加权融合，获得最终的去噪结果。本发明利用特征图来估计场景目标的运动模型，不仅可以获得稠密的运动矢量信息并且改善了传统光流算法对噪声敏感的问题，同时本发明通过变换域融合和自适应融合的方法在去除图像噪声的同时保持了图像细节。

技术领域

本发明涉及数字图像处理领域，尤其涉及一种多帧图像的配准和融合降噪的方法。

背景技术

无论是对于监控，还是手机拍照，作为不可避免且十分重要的拍摄场景，低照度条件下的拍摄，由于很难满足光照充足的条件，成为了高质量图像获取的一个难题。这是因为，目前图像传感器获取的图像分辨率普遍不断增加，例如目前的手机照片分辨率普遍在千万像素级，然而由于设备本身的尺寸限制以及设计成本的考虑，图像传感器的感光元器件的面积却无法同时线性地增长，导致单个像素感光面积的减少，从而使得在低照度下获取的图片对比度很低，同时夹杂着大量的噪声，图像细节大大丢失，视觉感受差。虽然闪光灯设备可以在一定程度上弥补这个缺点，但是对拍摄较远的目标则失效，同时其还会带来诸如阴影、高亮和色调变化等其他方面的缺陷；延长曝光时间在一定程度上可以提高图像的亮度并且降低图像噪声，但是由于相机抖动和画面中目标的运动，通常会造成图像的模糊，目前大部分相机设备的低照度下的拍照质量依然很难满足用户的要求与期望，依旧是一个亟待解决的难题。

目前图像去噪技术包括单帧图像去噪和多帧图像去噪。在单帧图像去噪技术中包括基于滤波的、基于稀疏表达的、基于矩阵低秩的和基于深度学习的，单帧图像去噪具有较强的噪声去除能力，但是这类算法容易造成图像细节损伤，此外，基于滤波的方法中包括非局部平均和BM3D等方法以及基于稀疏表示和基于矩阵低秩的技术大都利用了图像的非局部自相似性，以局部图像块为处理对象，计算复杂度高；基于深度学习的方法主要采用神经网络来学习噪声图像和去噪图像之间的映射模型，但是学习出来的模型通常和采用的训练库有关，此外这类方法目前仍然需要专门的硬件设备支持。而多帧图像去噪技术主要利用了成像设备在短时间间隔内获得的多帧图像信息，利用时间域信息进行去噪；在低照度下，图像传感器在短时间间隔获得多的张图像，由于曝光时间较短因此较少出现模糊和过曝的情况，而获取短时间内获取多张照片在硬件上较容易实现，例如目前的智能手机大都配备连拍模式就具备这个功能，因此利用多帧图像进行融合降噪具有诸多优势。

在多帧图像去噪技术中，主要包括图像配准和图像融合。图像配准技术是其中的一项关键技术，现有的图像配准方法包括基于特征点、基于网格的、基于块匹配的和基于光流法的。基于特征点的和基于网格的的图像配准方法只能获得稀疏的运动场信息，无法配准局部运动目标；基于块匹配的方法，则容易引起块效应；现有的光流法对噪声敏感，不适用于噪声图像的配准。而在图像融合方面，图像去噪和细节保持通常是相互矛盾的，现有的融合方法或是为了保持图像细节过多了保留了噪声，或是融合方法不鲁棒造成了图像细节的模糊。

因此设计一种噪声鲁棒的图像配准技术来提高在噪声下的配准精度，同时设计一种细节保持的图像融合方法在降低噪声的同时有效地保持图像细节是很有意义的。

发明内容

针对现有的技术空白和缺点，本发明旨在提供一种多帧图像配准与融合去噪方法。本发明具体采用的技术方案如下：

一种多帧图像配准与融合去噪的方法包括以下步骤：

(1)输入多帧噪声图像，选取其中一帧为参考帧，其余的为待配准帧；

(2)估计相机的抖动并获得运动模型，利用运动模型将待配准帧配准到参考帧，得到一次配准图；