[发明专利]基于多尺度变换的多聚焦图像融合方法及装置

说明书

本公开提供了一种基于多尺度变换的多聚焦图像融合方法及装置，涉及人工智能或计算机视觉领域。该方法包括：采集同一成像场景下的两幅输入图像，获取输入图像的不同深度；使用k级上下文特征提取模型从输入图像中分别提取位于不同深度的k级尺度的图像特征；使用同级尺度融合方式对k级尺度的图像特征进行初步融合，得到初步融合特征；将每一级尺度的初步融合特征与经过反变换的前一级初步融合特征进行融合，得到精化融合特征；使用图像重构模型对精化融合特征进行重构，得到融合图像；使用输入图像和输入图像的融合图像作为训练数据来训练多聚焦图像融合网络模型。

技术领域

本公开涉及人工智能或计算机视觉领域，尤其涉及一种基于多尺度变换的多聚焦图像融合方法及装置。

背景技术

多聚焦图像融合技术旨在将不同聚焦设置下得到的多幅包含相同场景的图像融合在一起，形成一幅信息量更加完备的全清晰图像，得到的全清晰图像便于后续的计算机视觉任务，如识别、监督。为了获得优良的融合效果，研究人员提出了各种各样的图像融合方法，根据算法的原理，图像融合方法大体可以分成两大类：传统的图像融合方法和基于深度学习的图像融合方法。

传统的图像融合方法又可以进一步分为基于空间域的融合方法和基于变换域的融合方法。但是，该类多聚焦图像融合方法需要人为设计活跃水平检测和融合规则，这就极大地增加了算法设计所带来的困难。近年来，随着深度学习的广泛应用，基于深度学习的多聚焦图像融合获得了极大地发展，相较于传统的多聚焦图像融合方法，算法复杂度极大地降低，融合性能极大地改善。

目前，大多数的多聚焦图像融合算法，将卷积神经网络设计为一个分类器，一对训练数据设定一个标签，这种设置会导致在聚焦区域与非聚焦区域边缘出现误分类的情况出现。此外，只有聚焦点检测是由网络完成的，其余部分还需要人为设定判定准则，增加了算法的复杂度。另外，现有的神经网络训练方式使得网络本身难以对聚焦区域与非聚焦区域的边缘进行学习。还有，在定义多种掩模用于网络对聚焦区域与非聚焦区域边缘的学习时，但是这种规则形状的掩模不足以模拟现实的情况。

发明内容

针对现有多聚焦图像融合技术的上述不足，本公开提供一种基于多尺度变换的多聚焦图像融合方法及装置，以解决现有多聚焦图像融合技术在聚焦与非聚焦图像边缘融合不准确的问题。

本公开的一个方面提供了一种基于多尺度变换的多聚焦图像融合方法，包括：采集同一成像场景下的两幅输入图像A_n(n＝1，2)，获取输入图像的不同深度；使用k级上下文特征提取模型从输入图像中分别提取位于不同深度的k级尺度的图像特征使用同级尺度融合方式对k级尺度的图像特征进行初步融合，得到初步融合特征U^d；将每一级尺度的初步融合特征U^d与经过反变换的前一级初步融合特征U^d+1进行融合，得到精化融合特征U′^d；使用图像重构模型对精化融合特征U′^d进行重构，得到融合图像F_recon；使用输入图像A_n和输入图像的融合图像F_recon作为训练数据来训练多聚焦图像融合网络模型。

根据本公开的实施例，两幅输入图像为两幅待融合且预先配准的多聚焦图像。

根据本公开的实施例，每级上下文特征提取模型均由3个具有不同感受野的并行卷积模块构成，得到每一级尺度下包含上下文信息的图像特征其中：3个不同感受野的并行卷积模块包括：原始图像特征分支、感受野扩大分支和注意力权重分支；感受野扩大分支通过使用空洞卷积扩大感受野以获取图像相对全局信息，注意力权重分支引用自注意力机制对感受野扩大分支进行权重处理。

根据本公开的实施例，在k级上下文特征提取模型中，输入图像A_n的第d级尺度特征的计算输入为输入图像A_n的前一级尺度特征表示输入图像；通过引用自注意力机制将转换为过渡图像特征采用Sigmoid函数为过渡图像特征的每一个像素点分配权重。