[发明专利]一种基于神经网络的低光图像质量增强装置和方法

权利要求书

1.一种基于神经网络的低光图像质量增强装置，其特征在于：包括核心神经网络和二分类神经网络；

所述核心神经网络，包括依次级联的多重曝光模拟模块、核心增强模块和特征融合模块；

所述多重曝光模拟模块，对输入的C通道低光图像数据逐通道分别乘以M个预设亮度系数，相加后得到C×M个通道的曝光模拟数据；

所述核心增强模块对多重曝光模拟模块输出的曝光模拟数据进行特征提取，再将提取到的特征数据输入特征融合模块，包括纹理特征提取子模块和多级分辨率特征提取子模块；所述纹理特征提取子模块包括第一纹理特征提取模块和第二纹理特征提取模块，其中，第一纹理特征提取模块用于输出第一纹理特征到第二纹理特征提取模块和多级分辨率特征提取子模块，包括依次级联的CNN卷积模块、傅里叶卷积模块、Lewin Transformer模块和CNN卷积模块；第二纹理特征提取模块用于输出第二纹理特征到特征融合模块，包括两个级联的傅里叶卷积模块；所述多级分辨率特征提取子模块，包括N层网络，在一层网络中通过傅里叶卷积模块和Lewin Transformer模块提取第一阶段特征，再通过傅里叶卷积模块和CNN卷积模块提取第二阶段特征；其中第n层网络的输入为第n-1层网络输出的第一阶段特征，n＝1,2,...N，当n＝1时，第n层网络的输入为第一纹理特征，当n＝N时，不进行第二阶段特征的提取；最后将每层网络提取的不同阶段的特征，恢复到与第二纹理特征相同的尺度后再输入到特征融合模块；

所述特征融合模块接收第二纹理特征提取模块和多级分辨率特征提取子模块输出的特征数据，首先进行通道级联，再经过傅里叶卷积模块和CNN卷积模块融合特征数据，输出质量增强后的低光图像；

所述CNN卷积模块对输入数据进行两次CNN卷积，作为CNN卷积模块的输出；傅里叶卷积模块对输入数据经过两次傅里叶卷积，再与原始输入数据相加，作为傅里叶卷积模块的输出；

所述二分类神经网络接受特征融合模块输出的质量增强后的低光图像，对其进行图像质量评估，并根据评估结果将图像质量低的图像返回到核心神经网络结构，进行进一步的图像质量增强。

2.如权利要求1所述一种基于神经网络的低光图像质量增强装置，其特征在于：所述Lewin Transformer模块对输入数据依次经过LeFF操作、层归一化操作后，与原始输入数据相加，再将相加后的结果与经过W-MSA操作和层归一化操作后的结果相加，作为Transformer模块的输出。

3.如权利要求1所述一种基于神经网络的低光图像质量增强装置，其特征在于：所述二分类神经网络以MobileNetV2为基础结构，输出二元分类结果。

4.如权利要求1所述一种基于神经网络的低光图像质量增强装置，其特征在于：所述二分类神经网络以ResNet为基础结构，输出二元分类结果。

5.一种基于神经网络的低光图像质量增强方法，其特征在于：具体包括以下步骤：

步骤一、低光图像质量增强

构建权利要求1中所述的核心神经网络，对输入图像依次进行多重曝光模拟、特征提取和特征融合，输出质量增强后的低光图像；

步骤二、图像增强质量评估

s2.1、数据准备

准备多组同一视角下的正常图像和低光图像，将正常图像作为参考图像，标记为1；将低光图像输入核心神经网络结构进行质量增强后，作为退化图像，标记为0；

s2.2、特征学习

构建一个二元结果输出的二分类神经网络，将s2.1中得到的多组图像输入该二分类神经网络中，根据图像的标签进行网络训练；

s2.3、质量评估

将待增强的图像输入步骤一构建的核心神经网络，得到的质量增强后的低光图像，然后再输入s2.2训练后的二分类神经网络中，进行图像质量评估；对于评估结果为质量低的图像输入核心神经网络，进行进一步的质量增强，然后再进行质量评估，直至评估结果为质量高。