[发明专利]一种提高单帧红外图像分辨率的方法与系统

说明书

一种提高单帧红外图像分辨率的方法与系统，其中所述方法包括：步骤1：获取单帧低分辨率红外图像数据；步骤2：将所述单帧低分辨率红外图像数据分为两路，分别送入图像超分分支和梯度超分分支分别进行数据处理，分别得到图像超分重建结果和梯度超分重建结果；步骤3：将所述图像超分重建结果和所述梯度超分重建结果融合，获得高质量的高分辨率红外图像数据。该方法与系统可以提升整体的超分重建的质量，更好地保留了图像中的结构信息。

技术领域

本发明涉及图像处理领域，尤其涉及一种红外图像的超分辨率处理方法。

背景技术

红外成像系统由于具备较好的穿透成像效果，能够在黑夜、雨、雾等光照不足和复杂气象环境下捕捉环境信息，广泛应用于军事、医疗、公共安全等领域。然而，相比于可见光传感器动辄百万像素的分辨率，红外成像系统的分辨率远远难以满足实际应用的需求。而通过物理方法，即通过缩小像元尺寸和扩大探测器矩阵等硬件方法来提高红外图像分辨率，会成倍增加产品成本。更重要的是，在军事领域等应用场景中对成像系统体积、重量有严格限制的情况下，通过物理方法提升分辨率是一条不可行的途径。因此，通过软件算法提升红外图像的分辨率是当前最有前景的技术途径。

受益于深度学习技术的飞速发展，可见光图像的超分辨率取得了相当不错的效果。FSRCNN采用小卷积核和共享的深层网络结构，得到一种快速的超分网络；SRResNet和EDSR利用亚像素卷积层和残差学习在低分辨率空间提取特征，并使用子像素卷积层对LR特征进行放大。SRGAN基于生成对抗的思想，将超分辨率的质量提升到一个新的高度；ESRGAN通过多个环节的改进进一步加快了模型训练的速度，提高了超分图像的质量。

然而，直接采用上述超分技术对红外图像进行超分辨率时，依然存在着较多的问题。这些问题主要与红外图像的特征相关，具体表现为：(1)由于红外成像系统和成像技术的限制，红外图像通常呈现出分辨率低、对比度弱、高频细节少等特点；(2)由于室外红外图像存在较大的视差，即前景与背景有较大的景深差异，传统的超分辨率方法容易破坏图像中原有的结构信息，从而形成伪影或几何畸变；(3)由于地表与目标温度高于背景温度，以及红外波段辐射各向同性扩散等原因，造成室外红外图像对比度低，外加水汽吸收、大气散射等因素使得红外图像进一步模糊，在视觉上呈现出可见光图像中的薄雾特征。

采用传统的图像超分辨率方法，由于薄雾模糊、对比度低等原因，往往难以充分挖掘高频信息，从而难以较好地恢复出细节信息；同时由于大的视差，在图像进行大比例的超分辨率时(例如4×4倍以上)，细节结构信息保留不好，会出现伪影或者几何畸变。

发明内容

针对现有技术存在的上述缺陷和不足，本发明提供一种单帧红外图像超分辨率方法与系统，至少部分解决现有技术中存在的问题，本方法能够对红外图像进行低对比度增强，并充分挖掘高频信息，同时较好地保留结构特征，因此可以提升红外图像的超分辨率质量。

本发明的一种提高单帧红外图像分辨率的方法，其特征在于，包括：

步骤1：获取单帧低分辨率红外图像数据；步骤2：将所述单帧低分辨率红外图像数据分为两路，分别送入图像超分分支和梯度超分分支分别进行数据处理，分别得到图像超分重建结果和梯度超分重建结果；步骤3：将所述图像超分重建结果和所述梯度超分重建结果融合，获得高质量的高分辨率红外图像数据。

进一步地，其中所述步骤2中的图像超分分支具体包括图像超分网络，所述图像超分网络包括由多级残差网络和密集连接构成的RRDB模块，用于执行图像超分辨率，得到初始超分辨率图像。

进一步地，所述步骤2中的梯度超分分支还包括去雾处理，具体包括：

步骤2.1：采用暗通道先验模型搭建去雾模型，其数学模型表示为：