[发明专利]深度蒸馏的多聚焦图像融合方法

说明书

本发明提供了一种深度蒸馏的多聚焦图像融合方法，属于图像处理领域。本发明包括以下步骤：对源图像，采用现有深度估计模型以及多聚焦图像融合模型获得源图像对应深度图以及伪决策图；设计深度蒸馏多聚焦图像融合网络；以深度图以及伪决策图为真值，设计损失函数，监督网络模型训练，得到最终多聚焦图像融合结果。本发明利用深度图所提供的判别信息，提升对于均质区域的融合精度。

技术领域

本发明属于图像处理领域，尤其涉及一种基于深度蒸馏的多聚焦图像融合方法。

背景技术

光学透镜具有有限的景深(DoF)。在成像过程中，位于DoF内的目标较为清晰，远离焦区域的目标图像会变得模糊。多聚焦图像融合(MFIF)目的是通过集成相机捕获的相同场景的多个源图像来生成全聚焦图像。多聚焦图像融合是图像融合任务的一部分，在计算机视觉中扮演着重要的角色，例如，目标识别和检测。

近年来，研究者们做出了巨大的努力来改进多聚焦图像融合精度。图像融合技术大致分为基于变换域方法，基于空间域方法，变换域-空域集成方法，深度学习方法。早期的多聚焦图像融合方法通常专注于测量活动水平和设计融合规则，因而导致对真实场景多样性的鲁棒性受到限制。近年来，依托深度学习强大的特征表征能力，卷积神经网络(CNN)已成为主流的图像融合技术。尽管深度卷积神经网络在多聚焦图像融合领域取得了巨大的进步，但是面对同质地区融合仍存在挑战。归因于，均匀区域是光滑，缺乏纹理信息，难以判断它们属于聚焦区域还是非聚焦区域，这给实现高精度多聚焦图像融合带来了很大的挑战。

鉴于聚焦和非聚焦区域的产生与目标位于相机的景深有关，即目标位于景深范围内则表征清晰，被称为聚焦区域；反之，目标超出景深范围表现为模糊，称为非聚焦区域。因此,深度信息是区分聚焦和非聚焦区域判别的重要提示。更重要的是，深度信息为同质性区域的区分提供了判别信息。

发明内容

本发明的目的是提出了一种深度蒸馏多聚焦图像融合网络，突破多聚焦图像融合中对同质区域判别及融合的技术瓶颈。

本发明的技术方案：

一种深度蒸馏的多聚焦图像融合方法，步骤如下：

步骤一：制作深度蒸馏的多聚焦图像融合数据集

(1)获取多聚焦图像数据集，包含前聚焦图像I₁以及后聚焦图像I₂；

(2)对步骤(1)中的多聚焦图像数据集生成其对应的深度图D以及伪决策图D'，其生成过程如下：将前聚焦图像I₁输入到深度估计网络中，输出其对应的深度图D；将前聚焦图像I₁和后聚焦图像I₂输入基于决策图预测的多聚焦图像融合模型中，生成其对应伪决策图D'；

(3)将图像对{I₁，I₂，D，D’}作为网络输入，其中深度图及伪决策图{D，D’}作为网络真值，获得网络训练所需样本集；

步骤二：设计深度蒸馏多聚焦图像融合网络模型，实现多聚焦图像融合

(1)设计源图像重构网络，包含两个结构相同的用于源图像特征提取的分支模型，每个分支模型基于VGG框架，由多个卷积层、激励层以及上下采样层组成；卷积层所提取的层级特征表示为F_c'、F_c”，c表示为第c层，范围为{1,2,...,6}；重构网络训练过程分为前向传播和反向传播过程，网络的前向传播过程：

a^(l+1)＝f(W^(l)a^(l)+b^(l)) (1)

其中，f(),W,b表示每个层的激活函数、权重和偏置矩阵参数；网络反向传播过程为最小化loss函数L_r的过程，其中L_r表示为：