[发明专利]一种结合分割图的热成像超分辨率重建方法及存储介质

说明书

本发明公开了一种结合分割图的热成像超分辨率重建方法及存储介质，搭建网络模型，并训练网络模型；所述网络模型包括特征提取部分和重建图像判断部分，所述特征提取部分为双分支结构，且分为热成像重建特征提取分支和可见光图像分割特征提取分支，并通过特征相加层融合两分支的特征信息，然后，通过重建图像判断部分对深度特征进行高分辨率重建。本发明通过训练模型同时学习不同的任务，用可见光图像分割任务的像素级特征信息弥补热成像超分辨率重建过程中丢失的细节信息，有效地增强超分辨率图像的轮廓信息，提高超分辨率图像的细腻程度。

技术领域

本发明属于图像处理的技术领域，具体涉及一种结合分割图的热成像超分辨率重建方法及存储介质。

背景技术

为了更加有效地控制疫情，在许多公共场合放置了智能防疫设备，大幅度地减少了工作人员与被测人员的接触，而且能提高在大量人员流动的环境下测试效率。基于热成像技术开发的测温设备是智能防疫设备中最常用的一类，具有非接触、精确、范围广等优势，大大的避免了测温过程中产生感染的情况。热成像图像是利用目标的红外辐射信息生成人眼可见的图像，广泛应用于监测、医疗等领域，同时，热成像图像是需要通过外部设备和已有的成像技术进行采集，这就限制了图像的成像效果。

目前，大多数热成像图像都存在分辨率较低的问题。早期，多数解决方法都是在传统图像处理的基础上进行技术拓展，例如图像插值算法，核心思想是通过对低分辨率热成像与高分辨率热成像之间的像素点映射关系进行建模，用低分辨率图像上的像素点拟合出高分辨率图像上的像素点，该方法的优点是重建速度快。但缺点是处理方法过于简单粗暴，导致重建的高分辨率图像较为粗糙。

近几年，随着深度学习技术的崛起，基于深度学习的超分辨率技术也逐渐成熟、有效，这类方法比早期方法更加注重生成的高分辨率图像的细节问题，技术思想主要是通过设计具有针对性的网络模块构建出深度神经网络，利用低分辨率图像作为输入，映射得到重建之后的高分辨率图像，增强特征信息的表达能力，弥补早期方法处理粗糙的部分，从而取得了令人满意的效果。

目前，大多数基于深度学习的热成像超分辨率算法生成的高分辨率图像在轮廓边缘出现模糊，结构上失真，导致重建的高分辨率图像不够细腻，影响后续应用开发。因此，急需提出一种简单有效的，能提高分辨率图像的细腻度的热成像超分辨率重建方法，增加高分辨图像的轮廓信息，提升重建效果。

发明内容

本发明的目的在于提供一种结合分割图的热成像超分辨率重建方法及存储介质，旨在解决上述问题。本发明通过训练模型同时学习不同的任务，用可见光图像分割任务的像素级特征信息弥补热成像超分辨率重建过程中丢失的细节信息，有效地增强超分辨率图像的轮廓信息，提高超分辨率图像的细腻程度。

本发明主要通过以下技术方案实现：

一种结合分割图的热成像超分辨率重建方法，包括以下步骤：

步骤S100：采集并标注高分辨率热成像图像、低分辨率热成像图像、可见光图像以及可见光图像对应的语义分割图，并整理成训练样本集；

步骤S200：搭建网络模型，并通过步骤S100中的训练样本集训练网络模型；所述网络模型包括特征提取部分和重建图像判断部分，所述特征提取部分为双分支结构，且分为热成像重建特征提取分支和可见光图像分割特征提取分支，并通过特征相加层融合两分支的特征信息，然后，通过重建图像判断部分对深度特征进行高分辨率重建；

步骤S300：使用损失函数计算损失值，随机初始化模型中所有的权重参数，设定学习率初始值以及衰减方法，然后预先设定损失值优化器，最后按照最大迭代次数进行迭代计算，直至损失值收敛。

所述热成像重建特征提取分支用于提取低分辨率热成像图像的深度特征信息，并预测出高分辨率热成像图像；所述可见光图像分割特征提取分支用于提取可见光图像的像素级特征信息。本发明中的激活函数层采用泄露修正线性单元层。