[发明专利]一种基于3D卷积神经网络的低照度视频增强方法

说明书

本发明涉及一种基于3D卷积神经网络的低照度视频增强方法，包括：步骤1，利用多组作为样本的多张连续低照度图像和对应的正常照度图像，来训练3D卷积神经网络模型，得到的3D卷积神经网络模型，输入为多张低照度图像，输出为增强后的正常照度图像；步骤2，获取待增强的低照度视频，并将所述待增强的低照度视频经过解码、抽帧得到连续的图片序列；步骤3，以滑动窗口的方式选取连续的多帧图片送入训练好的所述3D卷积神经网络模型，依次得到连续的增强后的图片序列；步骤4，将恢复后的图片序列重新编码为视频。

技术领域

本发明涉及计算机视觉技术领域，尤其是涉及一种基于3D卷积神经网络的低照度视频增强方法。

背景技术

大多数的计算机视觉技术场景中，都需要获取清晰的图像特征，才能进一步对视频进行分析和处理。然而，在低照度的条件下(例如夜间)，由于光信号微弱，所采集的视频质量比较低，视频中包含的目标信号就不清晰，进一步降低了后续视频处理的效果。因此，研究将低照度的视频恢复为正常照度的视频，具有重要的技术意义。

发明人在研究中发现，传统技术中的低照度视频恢复，本质上是一种低照度图片恢复技术。首先将视频抽取为连续的图片序列，然后利用算法将每一张图片进行增强，这种方法一般算法比较复杂，且最大的缺陷在于没有利用帧间图像(尤其是利用高速相机采集的)具有很多相同或相近的信息，只是单纯的将抽取的图片每一张独立增强。

故，需要对技术进行改进，以提高低照度视频恢复的效果。

发明内容

有鉴于此，有必要针对上述的问题，提供一种基于3D卷积神经网络的低照度视频增强方法，能够有效地利用视频帧间图像具有的相同或相似的信息，对图像进行恢复，降低算法成本，提升效果。

一种基于3D卷积神经网络的低照度视频增强方法，包括：

步骤1，利用多组作为样本的多张连续低照度图像和对应的正常照度图像，来训练3D卷积神经网络模型，得到的3D卷积神经网络模型，输入为多张低照度图像，输出为增强后的正常照度图像；

步骤2，获取待增强的低照度视频，并将所述待增强的低照度视频经过解码、抽帧得到连续的图片序列；

步骤3，以滑动窗口的方式选取连续的多帧图片送入训练好的所述3D卷积神经网络模型，依次得到连续的增强后的图片序列；

步骤4，将恢复后的图片序列重新编码为视频。

所述步骤1中，所述3D卷积神经网络模型的输入是连续n张图片；

在输入卷积神经网络之前需要先提取这些图片的RGB三个通道的灰度信息；

根据RGB三通道的灰度信息，对原始RGB图像进行放大，放大倍数根据3D神经网络模型训练时所选取的参数确定；

3D神经网络模型输入为经过上述步骤处理后的连续n张图片的RGB灰度图；

3D神经网络中间层包含多个卷积层、池化层、反卷积层、上采样层等，针对不同的视频来源具体的超参数可以有所不同；

3D神经网络的输出为单张图片的RGB三通道灰度信息；

最终，3D神经网络模型输出为将神经网络输出的RGB三通道灰度图重新组合为彩色图后的图片。

对模型的训练方法包括：

录制多种场景的正常光照下视频，视频不仅包括静态场景，还包含低速的物体运动或视角移动；所述场景包括室内、室外、远景、近景或特写；

对正常光照下的视频进行照度降低，并适当引入噪声信号(白噪声或椒盐噪声)；

将低照度且有噪声的视频作为输入，正常光照下的视频作为输出，选择适当的模型结构来训练模型；