[发明专利]一种基于内容感知的深度网格流鲁棒图像对齐方法

说明书

本发明公开了一种基于内容感知的深度网格流鲁棒图像对齐方法，专门针对相对运动较小的图像而设计，使用多尺度特征金字塔以从粗到精的方式学习网格运动，网格流是从稀疏到稠密的不同比例中计算得到的，从而使最后的网格流具有线性单应性(稀疏)的稳定性和非线性网格变形的灵活性；在网络中学习带有注意力机制的掩膜，该掩膜不仅突出显示纹理区域，而且还可以滤除图像中的运动差异目标；还对网格四边施加内容自适应的正则化约束，促使学习到网格流在运动不一致的区域(如动态对象或非连续景深区域)中是刚性的，而在不受此类干扰的情况下更加灵活。

技术领域

本发明属于数字图像处理、计算机视觉技术领域，具体涉及一种基于内容感知的深度网格鲁棒图像对齐方法。

背景技术

图像对齐是匹配和叠加在不同时间、传感器或条件下获取的两个或多个图像的过程，这是各种计算机视觉应用的基础，其中包括：多帧高动态范围(HighDynamicRange)，多帧超分辨率，降噪，全景创建，图像/视频拼接，同步定位和地图绘制(SimultaneousLocalization And Mapping)，增强现实(Augmented Reality)和视频稳定功能等。

在现有的各种图像对齐模型中，基于单应性的方法由于其简单性和效率得到了广泛的应用。该方法通常通过匹配图像特征并通过直接线性变换(Direct LinearTransform)和离群值剔除方法来求解单应性，其对单应性估计的质量高度依赖于图像特征的质量。当在处理弱纹理场景时，上述方法对图像的特征检测和匹配容易失败，导致无法正常对齐此类场景。于是有研究人员提出了基于深度神经网络(Deep Neural Network)的方法来学习鲁棒的深度特征，这些特征可以成功处理具有挑战性的低纹理和低光照等场景。但由于单应性只能表示单个平面的运动或由纯相机旋转引起的运动，当需要处理具有深度变化的图像时，纯单应性方法无法完成很好的图像对齐。为了让算法拥有更强的非线性表示能力，基于网格流的方法被提出，相比于单应性方法，其对图像特征的质量有着更高的要求，使其在实际应用上变得困难。

发明内容

针对现有技术中的上述不足，本发明提供的基于内容感知的深度网格流鲁棒图像对齐方法解决了现有的当处理具有深度变化的图像时，纯单应方法对图像对齐效果不理想的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于内容感知的深度网格流鲁棒图像对齐方法，包括以下步骤：

S1、搭建并训练用于图像对齐的深度神经网络；

其中，深度神经网络包括依次连接的掩膜预测模块和多尺度特征提取模块；

S2、将待对齐的源图像和目标图像输入至掩膜预测模块中提取掩膜，并使用提取的掩膜分别对原图像和目标图像进行矩阵点乘，获得对应的掩膜图像输入至多尺度特征提取模块中；

S3、通过多尺度特征提取模块对输入的掩膜图像分别进行特征提取，获得特征提取结果；

S4、基于特征提取结果，对源图像进行处理使之与目标图像对齐。

进一步地，所述步骤S1中的多尺度特征提取模块包括特征提取单元、warp操作单元、匹配损耗计算单元以及网格流估计单元；

每个尺度下的特征提取单元均对应一组依次连接的warp操作单元、匹配损耗计算单元以及网格流估计单元；

所述最大尺度的特征提取单元对应的网格流估计单元输出尺度为输入图像一半的网格流，作为多尺度特征提取模块的特征提取结果。

进一步地，所述网格流估计单元包括依次连接5层密卷积层和自适应池化层；

所述网格流估计单元的个数为3个，从最小尺度开始其对应的网格流密度依次为1×1、4×4和32×32。

进一步地，所述步骤S3包括以下分步骤：