[发明专利]图像融合方法、图像融合模型的训练方法、装置和设备

权利要求书

1.一种图像融合方法，其特征在于，该方法包括：

获取同一取景范围下的M张图像，所述M张图像的图像特征不同，M为大于1的正整数；

将所述M张图像输入至图像融合模型进行图像融合，输出合并图像，所述合并图像包括所述M张图像的图像特征；

其中，所述图像融合模型是预先利用训练样本数据对卷积神经网络模型进行训练得到的，所述训练样本数据包括同一取景范围下的聚焦图像和散焦图像；所述图像融合模型包括用于提取图像特征的第一神经网络部分和用于图像特征融合的第二神经网络部分，所述第一神经网络部分的卷积层包括L个通路，所述L个通路用于并行地提取所述M张图像的图像特征，所述L个通路的L个输出结果，以及L个输出结果的融合结果作为所述第二神经网络部分的输入，所述第二神经网络部分用于对所述L个通路的L个输出结果和所述L个输出结果的融合结果，进行融合。

2.一种图像融合模型的训练方法，其特征在于，所述训练方法用于对待训练的卷积神经网络模型进行多次训练，以获得图像融合模型，其中，所述训练方法包括如下步骤：

获取训练图像样本集合，所述训练图像样本集合包括U组图像，所述U组图像中的每组图像包括同一取景范围内的聚焦图像和K张散焦图像，所述K张散焦图像的图像特征不同，U和K为大于1的正整数；

针对所述U组图像中的每组图像，分别执行如下操作：将第一组图像中的K张散焦图像输入到待训练的卷积神经网络模型中，生成包括所述K张散焦图像的图像特征的合成图像；其中，所述第一组图像为所述U组图像中的任意一组图像，所述图像融合模型设置有网络模型参数；根据所述合成图像与所述第一组图像中的聚焦图像之间的匹配程度调整所述网络模型参数，得到调整后的网络模型参数；

生成包括调整后的网络模型参数的图像融合模型；

其中，所述图像融合模型包括用于提取图像特征的第一神经网络部分和用于图像特征融合的第二神经网络部分，所述第一神经网络部分的卷积层包括L个通路，所述L个通路用于并行地提取多张图像的图像特征，所述L个通路的L个输出结果，以及L个输出结果的融合结果作为所述第二神经网络部分的输入，所述第二神经网络部分用于对所述L个通路的L个输出结果和所述L个输出结果的融合结果，进行融合，L为正整数。

3.根据权利要求2所述的训练方法，其特征在于，所述根据所述合成图像与所述第一组图像中的聚焦图像之间的匹配程度调整所述网络模型参数，得到调整后的网络模型参数，包括：

利用损失函数计算所述合成图像与所述聚焦图像之间的损失值；

利用所述损失值调整所述网络模型参数，得到调整后的网络模型参数。

4.根据权利要求3所述的方法，其特征在于，所述损失函数满足如下公式：

其中，ω为损失值，m*n为L个源图像中的任意一个图像的图像尺寸，Oi,j为网络融合模型输出的第(i,j)位置像素对应的像素值，I₁i,j为输入至第一通路的第一源图像的第(i,j)位置像素对应的像素值，I₂i,j为输入至第二通路的第二源图像的第(i,j)位置像素对应的像素值，I_Li,j为输入至第L通路的第L源图像的第(i,j)位置像素对应的像素值，其中，L个源图像的图像尺寸均相同。

5.根据权利要求3或4所述的方法，其特征在于，生成包括调整后的网络模型参数的图像融合模型，包括：

当所述待训练的卷积神经网络模型的迭代次数达到设定数值时或所述损失函数的损失值达到目标值时，生成包括调整后的网络模型参数的图像融合模型。