[发明专利]基于深度学习的暗光图像增强方法、装置、设备及介质

权利要求书

1.一种基于深度学习的暗光图像增强方法，其特征在于，所述方法包括下述步骤：

分别采用短曝光方式和长曝光方式对同一目标场景进行图像采集，得到对应的RAW格式训练图像和对照图像；

对所述训练图像进行预处理，并将所述预处理后的训练图像采样为四通道的特征图像，对所述训练图像进行预处理包括：通过公式对所述训练图像进行黑电平校正和归一化处理，得到子训练图像，对所述子训练图像进行随机裁剪和旋转，得到所述预处理后的训练图像，其中，f(x,y)为所述训练图像中坐标为(x,y)的像素值，a为所述训练图像的位深，F(X,Y)为对所述训练图像进行黑电平校正和归一化处理后得到的所述子训练图像，(X,Y)为所述子训练图像中坐标为(X,Y)的像素点；

将所述四通道的特征图像输入到全卷积神经网络中，得到对应的RGB图像；

计算所述RGB图像和对应的所述对照图像之间的均方误差，并根据所述均方误差，采用梯度下降算法对所述全卷积神经网络各网络节点之间的连接权值进行更新；

判断参数更新次数是否达到预设的更新阈值，是则，结束对所述全卷积神经网络的迭代训练，通过更新后的所述全卷积神经网络接收全尺寸的目标暗光图像、并对所述全尺寸目标暗光图像进行图像增强，以得到所述目标暗光图像对应的增强图像，否则，通过更新后的所述全卷积神经网络对所述四通道的特征图像进行卷积、采样处理，得到所述训练图像对应的RGB图像，更新所述参数更新次数，并跳转至计算所述RGB图像和对应的所述对照图像之间的均方误差的步骤。

2.如权利要求1所述的方法，其特征在于，所述全卷积神经网络由一个U-net网络和在所述U-net网络的输出层后连接的一个PixelShuffle下采样层组成。

3.一种基于深度学习的暗光图像增强装置，其特征在于，所述装置包括：

RAW图像采集单元，用于分别采用短曝光方式和长曝光方式对同一目标场景进行图像采集，得到对应的RAW格式训练图像和对照图像；

图像预处理单元，用于对所述训练图像进行预处理，并将所述预处理后的训练图像采样为四通道的特征图像，对所述训练图像进行预处理包括：通过公式对所述训练图像进行黑电平校正和归一化处理，得到子训练图像，对所述子训练图像进行随机裁剪和旋转，得到所述预处理后的训练图像，其中，f(x,y)为所述训练图像中坐标为(x,y)的像素值，a为所述训练图像的位深，F(X,Y)为对所述训练图像进行黑电平校正和归一化处理后得到的所述子训练图像，(X,Y)为所述子训练图像中坐标为(X,Y)的像素点；

RGB图像获得单元，用于将所述四通道的特征图像输入到全卷积神经网络中，得到对应的RGB图像；

神经网络更新单元，用于计算所述RGB图像和对应的所述对照图像之间的均方误差，并根据所述均方误差，采用梯度下降算法对所述全卷积神经网络各网络节点之间的连接权值进行更新；以及

迭代次数判断单元，用于判断参数更新次数是否达到预设的更新阈值，是则，结束对所述全卷积神经网络的迭代训练，通过更新后的所述全卷积神经网络接收全尺寸的目标暗光图像、并对所述全尺寸目标暗光图像进行图像增强，以得到所述目标暗光图像对应的增强图像，否则，通过更新后的所述全卷积神经网络对所述四通道的特征图像进行卷积、采样处理，得到所述训练图像对应的RGB图像，更新所述参数更新次数，并触发所述神经网络更新单元执行计算所述RGB图像和对应的所述对照图像之间的均方误差。

4.如权利要求3所述的装置，其特征在于，所述全卷积神经网络由一个U-net网络和在所述U-net网络的输出层后连接的一个PixelShuffle下采样层组成。

5.一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1所述方法的步骤。

6.一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求2所述方法的步骤。