[发明专利]图像融合方法、图像融合模型的训练方法和装置

权利要求书

1.一种图像融合方法，其特征在于，包括：

获取待处理的彩色图像、红外图像以及背景参考图像，所述红外图像和所述待处理的彩色图像是针对同一场景拍摄的，所述同一场景指的是所述待处理的彩色图像和所述红外图像之间的相似度大于第一阈值；所述待处理的彩色图像为所述场景对可见光的反射形成的影像，所述红外图像为所述场景对红外波段的光的反射形成的影像，所述背景参考图像与所述待处理的彩色图像之间的相似度大于第二阈值；

将所述待处理的彩色图像、所述红外图像和所述背景参考图像输入训练好的图像融合模型中进行特征提取，基于提取的特征进行图像融合，以得到融合图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取融合权重；

将所述融合权重输入所述训练好的图像融合模型中；其中，所述融合权重用于对所述待处理的彩色图像和所述红外图像进行加权。

3.根据权利要求2所述的方法，其特征在于，所述融合权重对应部分或全部的所述融合图像。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述待处理的彩色图像包括N帧彩色图像，所述红外图像包括所述N帧彩色图像对应的N帧红外图像，所述N帧彩色图像对应的背景参考图像是根据所述N帧彩色图像中的M帧彩色图像的背景参考图像确定的，M为正整数，N为大于1的正整数，N＞M。

5.根据权利要求4所述的方法，其特征在于，所述将所述待处理的彩色图像、所述红外图像和所述背景参考图像输入训练好的图像融合模型中进行特征提取，基于提取的特征进行图像融合，以得到融合图像，包括：

分别提取所述N帧彩色图像的特征和所述N帧红外图像的特征；

分别提取所述M帧彩色图像对应的M个背景参考图像的特征；

根据所述N帧彩色图像的特征和所述N帧红外图像的特征以及所述M个背景参考图像的特征分别重建得到N个融合图像。

6.根据权利要求1至3中任一项所述的方法，其特征在于，所述背景参考图像是通过以下任一方式获得的：

根据所述待处理的彩色图像之前的多帧得到所述背景参考图像；

将所述待处理的彩色图像之前的长曝光帧作为所述背景参考图像，所述长曝光帧为在曝光时长大于第三阈值的情况下得到的帧；

将所述待处理的彩色图像进行时域降噪后的结果作为所述背景参考图像；或者

将所述待处理的彩色图像之前的帧的融合图像作为所述背景参考图像。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述训练好的图像融合模型是通过以第一彩色图像和第一红外图像作为所述图像融合模型的输入，以损失函数的值小于第四阈值为目标对图像融合模型进行训练得到的；

所述损失函数包括第一损失函数，所述第一损失函数用于指示所述图像融合模型输出的图像与目标融合图像之间的差异，所述目标融合图像是根据目标彩色图像和目标红外图像确定的，所述第一彩色图像、所述第一红外图像、所述目标彩色图像和所述目标红外图像是针对所述同一场景拍摄的，所述同一场景指的是所述第一彩色图像、所述第一红外图像、所述目标彩色图像和所述目标红外图像中的任意两个图像之间的相似度大于所述第一阈值，所述目标彩色图像的信噪比高于所述第一彩色图像的信噪比，所述目标红外图像的信噪比高于所述第一红外图像的信噪比。

8.根据权利要求7所述的方法，其特征在于，所述损失函数还包括第二损失函数，所述第二损失函数用于指示所述目标彩色图像与所述图像融合模型输出的图像之间的差异。

9.根据权利要求7或8所述的方法，其特征在于，所述目标融合图像为亮度通道的图像，所述图像融合模型输出的图像与目标融合图像之间的差异为所述图像融合模型输出的图像的亮度通道与所述目标融合图像之间的差异。