[发明专利]深度蒸馏的多聚焦图像融合方法

权利要求书

1.一种深度蒸馏的多聚焦图像融合方法，其特征在于，步骤如下：

步骤一：制作深度蒸馏的多聚焦图像融合数据集

(1)获取多聚焦图像数据集，包含前聚焦图像I₁以及后聚焦图像I₂；

(2)对步骤(1)中的多聚焦图像数据集生成其对应的深度图D以及伪决策图D'，其生成过程如下：将前聚焦图像I₁输入到深度估计网络中，输出其对应的深度图D；将前聚焦图像I₁和后聚焦图像I₂输入基于决策图预测的多聚焦图像融合模型中，生成其对应伪决策图D'；

(3)将图像对{I₁，I₂，D，D’}作为网络输入，其中深度图及伪决策图{D，D’}作为网络真值，获得网络训练所需样本集；

步骤二：设计深度蒸馏多聚焦图像融合网络模型，实现多聚焦图像融合

(1)设计源图像重构网络，包含两个结构相同的用于源图像特征提取的分支模型，每个分支模型基于VGG框架，由多个卷积层、激励层以及上下采样层组成；卷积层所提取的层级特征表示为F_c'、F_c”，c表示为第c层，范围为{1,2,...,6}；重构网络训练过程分为前向传播和反向传播过程，网络的前向传播过程：

a^(l+1)＝f(W^(l)a^(l)+b^(l)) (1)

其中，f(),W,b表示每个层的激活函数、权重和偏置矩阵参数；网络反向传播过程为最小化loss函数L_r的过程，其中L_r表示为：

其中，MSE表示均方误差，I_m表示前聚焦图像I₁和后聚焦图像I₂，表示I₁、I₂对应的重构结果和

(2)设计深度蒸馏模块，该模块基于注意力机制，输入为源图像特征F_n，n＝{1,2,3}，其中F_n通过将源图像重构网络的层级特征F_n'、F_n”Concat后得到的：

F_n＝Cat(F_n',F_n”) (3)

该模块输出为包含位置和决策图信息的特征通过以下过程获得：

其中，为包含位置和决策图信息的特征向量；的获取是通过深度蒸馏得到，其过程如下：

对于输入特征F_n，采用卷积操作Conv获取两个支路输出d_n，m_n：

d_n＝Conv(Conv²(F_n)),m_n＝Conv(Conv²(F_n)) (5)

选取深度估计网络R₁，基于决策图预测的多聚焦图像融合模型R₂，用于深度蒸馏；深度蒸馏通过最小化loss函数L_n：

L_n＝MSE(d_n,R₁(I₁))+MSE(m_n,R₂(I₁,I₂)) (6)

通过该蒸馏过程，d_n包含深度信息，m_n包含决策图信息；最终，通过下述公式获得：

步骤三：网络训练，训练网络的损失函数由三部分组成：深度蒸馏损失，即L'；监督中间决策图的损失，即L”；以及监督最终决策图的损失，即L”'；网络训练为最小化loss函数L_final的过程，

L_final＝L_n+L”+L”' (8)

L”以及L”'表达式为：

L”＝MSE(D_n,R₂(I₁,I₂))，L”'＝MSE(F_final,Max(I₁,I₂)) (9)

其中，D_n为输出的中间决策图，F_final为最终融合结果，由下式得到：

F_final＝I₁*D_final+I₂*(1-D_final) (10)

其中，D_final为深度蒸馏多聚焦图像融合网络模型输出的最终决策图；

步骤四：测试阶段，输入两幅多聚焦图像I₁、I₂，输出其对应重构结果以及最终融合结果F_final。