[发明专利]图像处理模型训练方法、图像处理方法及图像处理装置

权利要求书

1.一种训练图像处理模型的方法，包括：

重复执行以下操作直至完成至少两个阶段的模型训练，得到模型参数：

获取针对来自至少两个来源的训练图像的伪真值图像，所述至少两个来源的训练图像包括在不同光波频段下针对相同拍摄对象采集的图像；以及

将所述伪真值图像和所述来自至少两个来源的训练图像共同作为模型训练监督信息，通过调整第一图像处理模型的模型参数，以最小化联合损失函数；

其中，所述伪真值图像是由经训练的第二图像处理模型输出的针对所述来自至少两个来源的训练图像的融合图像或者当前训练阶段的上一训练阶段由所述第一图像处理模型输出的融合图像，所述联合损失函数表征所述第一图像处理模型输出的融合图像相对于所述来自至少两个来源的训练图像和所述伪真值图像的损失。

2.根据权利要求1所述的方法，其中，所述至少两个阶段的模型训练包括：第一阶段模型训练、第二阶段模型训练和第三阶段模型训练；其中，

在第一阶段模型训练过程中，所述伪真值图像是由经训练的第二图像处理模型输出的针对所述来自至少两个来源的训练图像的融合图像；

在第二阶段模型训练过程中，所述伪真值图像是由所述第一图像处理模型在第一阶段模型训练过程输出的第一融合图像；以及

在第三阶段模型训练过程中，所述伪真值图像是由所述第一图像处理模型在第二阶段模型训练过程输出的第二融合图像。

3.根据权利要求1所述的方法，其中，所述联合损失函数由第一损失函数、第二损失函数和第三损失函数的和构成；

所述第一损失函数表征所述第一图像处理模型输出的融合图像相应于红外图像的基于像素级的损失；

所述第二损失函数表征所述第一图像处理模型输出的融合图像相应于可见光图像的基于图像块级的损失；以及

所述第三损失函数表征所述第一图像处理模型输出的融合图像相应于伪真值图像的基于特征集的损失。

4.根据权利要求3所述的方法，其中，所述第二损失函数包括梯度损失和结构相似度损失。

5.根据权利要求1所述的方法，其中，针对所述至少两个阶段的模型训练中每一个阶段，所述通过调整第一图像处理模型的模型参数，以最小化联合损失函数包括：

通过调整所述第一图像处理模型的模型参数，最小化所述第一图像处理模型输出的融合图像相对于所述模型训练监督信息的损失，

其中，所述融合图像的构建过程包括：对于所述来自至少两个来源的训练图像的相同等级的深度图像特征，基于各自的权重进行相同等级特征融合，得到至少两级多模态融合图像特征，并且融合所述至少两级多模态融合图像特征，以构建针对所述来自至少两个来源的训练图像的融合图像。

6.根据权利要求5所述的方法，其中，所述第一图像处理模型包括：

深度图像特征提取网络，用于获取所述来自至少两个来源的训练图像各自的至少两级深度图像特征；

多模态特征融合模块，用于基于所述来自至少两个来源的训练图像的相同等级的深度图像特征各自的权重进行相同等级特征融合，获得针对所述对象的至少两级多模态融合图像特征，并且基于反向信息传递的方式对所述至少两级多模态融合图像特征进行特征融合，得到融合后的图像特征，其中，所述来自至少两个来源的训练图像的相同等级的深度图像特征各自的权重是基于自注意力机制确定的；以及

图像重构模块，用于处理所述融合后的图像特征，获得针对所述来自至少两个来源的训练图像的融合图像。

7.根据权利要求6所述的方法，其中，所述第一图像处理模型还包括：

权重归一化模块，用于在所述基于所述来自至少两个来源的训练图像的相同等级的深度图像特征各自的权重进行相同等级特征融合之前，对所述来自至少两个来源的训练图像的相同等级的深度图像特征各自的权重进行归一化处理，以便将来自至少两个来源的训练图像的相同等级的深度图像特征进行相同等级特征融合。