[发明专利]一种基于3D卷积神经网络的低照度视频增强方法

权利要求书

1.一种基于3D卷积神经网络的低照度视频增强方法，其特征在于，包括：

步骤1，利用多组作为样本的多张连续低照度图像和对应的正常照度图像，来训练3D卷积神经网络模型，得到的3D卷积神经网络模型，输入为多张低照度图像，输出为增强后的正常照度图像；

步骤2，获取待增强的低照度视频，并将所述待增强的低照度视频经过解码、抽帧得到连续的图片序列；

步骤3，以滑动窗口的方式选取连续的多帧图片送入训练好的所述3D卷积神经网络模型，依次得到连续的增强后的图片序列；

步骤4，将恢复后的图片序列重新编码为视频；

在步骤3中，具体包括：

将第t帧图片到t+n-1张图片输入预先训练好的3D卷积神经网络模型进行低照度图片恢复，输出的图像作为第t+(n+1)/2-1张图片保存下来，选取下一组n张图片，

将第t+1帧图片到第t+n张图片输入模型，得到第t+(n+1)/2张图片；

重复上述步骤，直到图片序列所有图片都完成恢复；

上述n为奇数，且小于图片总张数N，t＝1、2……N-n+1。

2.根据权利要求1所述的基于3D卷积神经网络的低照度视频增强方法，其特征在于，所述步骤1中，所述3D卷积神经网络模型的输入是连续n张图片；

在输入卷积神经网络之前需要先提取这些图片的RGB三个通道的灰度信息；

根据RGB三通道的灰度信息，对原始RGB图像进行放大，放大倍数根据3D神经网络模型训练时所选取的参数确定；

3D神经网络模型输入为经过上述步骤处理后的n张图片的RGB灰度图；3D神经网络中间层包含多个卷积层、池化层、反卷积层和上采样层，针对不同的视频来源具体的超参数有所不同；

3D神经网络的输出为单张图片的RGB三通道灰度信息；

最终，3D神经网络模型输出为将神经网络输出的RGB三通道灰度图重新组合为彩色图后的图片。

3.根据权利要求2所述的基于3D卷积神经网络的低照度视频增强方法，其特征在于，对模型的训练方法包括：

录制多种场景的正常光照下视频，视频不仅包括静态场景，还包含低速的物体运动或视角移动；所述场景包括室内、室外、远景、近景或特写；

对正常光照下的视频进行照度降低，并适当引入噪声信号；

将低照度且有噪声的视频作为输入，正常光照下的视频作为输出，选择适当的模型结构来训练模型；

调整参数，反复迭代，得到性能最优的低照度视频增强模型。

4.根据权利要求1所述的基于3D卷积神经网络的低照度视频增强方法，其特征在于，所述方法还包括预处理的步骤：将获取的视频进行上采样、降采样、转码操作，以将不同来源的视频转换为相同的格式和大小。

5.根据权利要求4所述的基于3D卷积神经网络的低照度视频增强方法，其特征在于，所述步骤2中，对完成预处理的视频进行解码，抽帧，得到连续的图片序列，并对图片序列进行编号和分组。

6.根据权利要求5所述的基于3D卷积神经网络的低照度视频增强方法，其特征在于，所述方法还包括：对异常的视频进行丢弃或插帧操作，以提高泛化能力和鲁棒性。

7.根据权利要求1所述的基于3D卷积神经网络的低照度视频增强方法，其特征在于，所述步骤4中包括：按照图片编号整理图片顺序，得到和原始视频对应的图片序列；以及将图片序列重新编码、压缩为视频流或视频文件。