[发明专利]一种结合分割图的热成像超分辨率重建方法及存储介质

权利要求书

1.一种结合分割图的热成像超分辨率重建方法，其特征在于，包括以下步骤：

步骤S100：采集并标注高分辨率热成像图像、低分辨率热成像图像、可见光图像以及可见光图像对应的语义分割图，并整理成训练样本集；

步骤S200：搭建网络模型，并通过步骤S100中的训练样本集训练网络模型；所述网络模型包括特征提取部分和重建图像判断部分，所述特征提取部分为双分支结构，且分为热成像重建特征提取分支和可见光图像分割特征提取分支，并通过特征相加层融合两分支的特征信息，然后，通过重建图像判断部分对深度特征进行高分辨率重建；

步骤S300：使用损失函数计算损失值，随机初始化模型中所有的权重参数，设定学习率初始值以及衰减方法，然后预先设定损失值优化器，最后按照最大迭代次数进行迭代计算，直至损失值收敛。

2.根据权利要求1所述的一种结合分割图的热成像超分辨率重建方法，其特征在于，所述热成像重建特征提取分支包括从前至后依次设置的卷积层、批归一化层、激活函数层、若干个多重残差块以及上采样层。

3.根据权利要求2所述的一种结合分割图的热成像超分辨率重建方法，其特征在于，所述多重残差模块包括从前至后依次设置的卷积层、批归一化层、激活函数层、特征拼接层以及特征相加层、反卷积层，且通过多次跳跃连接。

4.根据权利要求1-3任一项所述的一种结合分割图的热成像超分辨率重建方法，其特征在于，所述可见光图像分割特征提取分支包括从前至后依次设置的卷积层、批归一化层、激活函数层、若干个尺度梯度变化块以及柔性最大值层。

5.根据权利要求4所述的一种结合分割图的热成像超分辨率重建方法，其特征在于，所述尺度梯度变化块包括从前至后依次设置的卷积层、批归一化层、反卷积层、特征拼接层。

6.根据权利要求5所述的一种结合分割图的热成像超分辨率重建方法，其特征在于，所述尺度梯度变化块的模块开端使用步长为2的卷积层进行下采样，然后使用三层反卷积层进行上采样，且上采样倍数成梯度变化，其次使用特征拼接层依次融合特征信息，得到具有多尺度特性的特征，最后使用两个卷积核为1x1的卷积层进行维度调整输出到下一模块。

7.根据权利要求1所述的一种结合分割图的热成像超分辨率重建方法，其特征在于，所述重建图像判断部分分为两个分支，且第一个分支用于判断预测重建图与标注高分辨率图像之间的差异，且第二个分支用于判断预测分割图与标注分割图之间的差异；所述重建图像判断部分的第一个分支包括从前至后依次设置的卷积层、批归一化层、激活函数层。

8.根据权利要求1所述的一种结合分割图的热成像超分辨率重建方法，其特征在于，所述步骤S300中，所述损失函数采用三种损失函数，且分别为分割损失函数、像素级位置损失函数以及对抗损失函数。

9.根据权利要求8所述的一种结合分割图的热成像超分辨率重建方法，其特征在于，所述分割损失函数采用柔性最大值损失函数，所述像素级位置损失函数采用L1损失函数，所述对抗损失函数采用相对平均损失函数。

10.一种计算机可读存储介质，存储有计算机程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1-9任一项所述的方法。