[发明专利]一种暗光视频去噪增强方法及系统

权利要求书

1.一种暗光视频去噪增强方法，其特征在于，包括以下步骤：

步骤1：数据收集阶段，获取真实运动暗光视频去噪数据集；

首先，收集包含真实运动特征的动态视频，并在显示器上对视频进行逐帧播放；然后，使用拍摄设备对图像数据进行捕获，实现对整体数据集的采集；

步骤2：网络训练阶段，利用步骤1得到的真实运动暗光视频去噪数据集，训练视频去噪网络；使用训练后的网络生成去噪视频；

首先，应用卷积和激活函数提取去噪数据集每一帧的特征；

然后，将多帧的特征进行叠加合并，构成整体视频共同的特征；

之后，依照多层级的方式对视频的空间分辨率进行下采样；同时，在每一层中，通过基于窗口的3D自注意力计算和前馈方式，对相应的时空自相似性进行计算，从而对输出特征进行重新加权；通过时序融合对多帧视频图像进行动态融合；

然后，根据输出图像与真实图像的差距，对视频去噪网络参数进行梯度反向传播，更新网络参数，完成网络的训练；

使用训练后的网络，生成最终的去噪视频。

2.如权利要求1所述的一种暗光视频去噪增强方法，其特征在于，步骤1中，收集的视频场景类别要尽可能覆盖现实生活中的绝大多数物体，包括不同亮度、不同色彩的场景；然后，在显示器上对视频进行逐帧播放，显示器的分辨率与视频的分辨率一致；

对视频图像进行捕获时，在播放一帧视频后，使显示器保持静止状态，并按照不同比率的曝光时间来拍摄相应的有噪声数据和无噪声数据；当前帧视频图像拍摄完成后，播放至下一帧，重复拍摄操作，直到该视频的数据采集完毕；

在拍摄过程中，合理摆放拍摄设备的位置，直到摩尔纹消失；显示器和拍摄设备之间的距离要足够远，确保每个显示器的像素都比拍摄设备的传感器像素小；所有拍摄过程均在暗环境中进行。

3.如权利要求1所述的一种暗光视频去噪增强方法，其特征在于，步骤2中，基于窗口的3D自注意力计算的方法，如下式所示：

其中，z代表在l层级得到的输出数据；z^l表示第l层基于3D窗口自注意力计算的输出，表示第l层基于3D移动窗口自注意力计算的输出；3DW-MSA表示层基于3D窗口自注意力计算，3DSW-MSA表示基于3D移动窗口自注意力计算；FFN表示前馈，LN表示层归一化。

4.如权利要求1所述的一种暗光视频去噪增强方法，其特征在于，步骤2中，通过时序融合对多帧特征进行叠加合并时，首先利用嵌入提取特征；然后，在一个嵌入空间中，计算每个相邻帧的特征和参考特征之间的相似性：

S(F_t+i,F_t)＝Sim(θ(F_t+i)^T,φ(F_t))

其中，S表示两个相邻帧之间的相似程度，F_t表示参考帧，F_t+i表示相邻帧，Sim表示相似性判断函数，θ和φ表示嵌入函数，T表示转置；

通过使用点积，对特征之间的相似性进行计算；当得到相似性矩阵后，对相应的特征重新进行加权：

其中，表示重新加权后的特征；⊙表示逐元素乘法；当完成加权后，将所有特征通过卷积进行重建。

之后，利用相应的损失函数监督网络的输出，帮助网络学习去噪模式；通过对比计算网络的输出损失值，并将该损失值回传至网络参数，用于训练；各神经网络层根据回传的损失值进行参数修改更新。

5.一种暗光视频去噪增强系统，其特征在于，包括数据收集子系统和网络训练子系统；

其中，数据收集子系统用于收集包含真实运动模式的视频数据，并将数据输入网络训练子系统；通过提供一对“有噪声+无噪声”的视频对，帮助网络学习去噪；

网络训练子系统，包括基于窗口的3D自注意力计算模块、前馈模块和时序融合模块；该子系统用于训练视频去噪网络，根据输出图像对视频去噪网络参数完成梯度反向传播，实现网络参数更新；

数据收集子系统的输出端与网络训练子系统的输入端相连；在网络训练子系统内，基于窗口的3D自注意力计算模块的输出端与前馈模块的输入端相连，模块的输出端与时序融合模块的输入端相连。