[发明专利]一种暗光视频去噪增强方法及系统

说明书

本发明涉及一种暗光视频去噪增强方法及系统，属于计算机视觉技术领域。本发明利用时间空间的自相似性，并结合了基于3D窗口的自注意力机制。通过3D注意力来利用自然视频中的自相似性，同时采用U型网络设计。本发明结合了深层卷积，可以更好地利用视频中存在的冗余细节，特别是在连续帧之间。通过使用基于窗口的自注意力来处理长距离的依赖关系，使用深度卷积来处理局部性，网络在空间和时间上都结合了有效信息。本发明能够在不依靠任何额外设备的情况下，高效率地对高质量有噪声、无噪声视频数据对进行收集，视频场景能够包含日常生活中的几乎所有场景，尤其适用于低光照条件，能够保证在真实视频去噪时的有效性与稳定性。

技术领域

本发明涉及一种暗光视频去噪增强方法及系统，具体涉及一种能够获取包含真实运动的高质量光视频去噪数据集的方法及系统，属于计算机视觉技术领域。

背景技术

暗光视频去噪技术，是指在低弱光条件下实现对视频场景信息的有效恢复，能够在亮度较低、包含明显噪声和伪影的情况下对真实场景信息进行捕获。

自从智能手机相机等迅速发展，随着在夜景中拍摄视频的需求不断增加，低光摄像已经变得非常重要。然而，由于光子数量少，噪声在低光环境下几乎是不可避免的。噪声降低了视频的质量。

为了解决这个问题，一些基于硬件的解决方案旨在收集更多的光子。例如，使用更大的光圈尺寸、打开闪光灯、拍摄长曝光的图像等。然而，智能手机的光圈大小是有限的，闪光灯只能照亮附近的物体，长曝光时间只适用于静态场景。这些限制削弱了其有效性。

相比之下，基于计算的去噪有其自身的优点，因为它对各种设备有更好的兼容性。它们的性能在很大程度上取决于原始噪声图像的信息量。例如，在输入数据方面，为了追求输入数据中的更多信息，研究人员直接在RAW域中进行去噪。RAW域的读数不会被非线性ISP破坏，所以它能严格反映场景的辐照度并记录原始的亮度值。出于这个原因，一些视频去噪数据集已经被提出。但是，这些数据集通常由有噪声、无噪声图像对组成，基于拍摄长/短曝光对或平均多个噪声图像作为基准值。由于物体可能会沿着时间维度移动，所以很难将这种方式与图像直接适应于视频。这两种技术都不能在动态场景中捕获高质量的基准值。

在低光照的动态场景中，很难收集真正的视频去噪数据集。出于这个原因，一些方法使用合成数据进行训练，但不准确的数据会损害最终的性能。此外，研究人员试图在简化的环境中捕捉配对的干净和低光的视频，可以分为仅包含静态场景的、使用人工创建的运动，或固定运动、使用一种共轴光学系统来进行拍摄，通过分光器创造两个空间对齐的场景用于拍摄有噪声、无噪声图像。通过添加ND滤镜，使其中一个干净的场景添加噪声，从而帮助网络进行学习与训练。

对于第一和第二种设置，手动创建运动或没有运动要比现实世界的情况简单得多。对于第三种设置，需要精确控制在共轴光学系统的像素水平上对准两帧，使得这个系统很难被装配。另外，光子被分光器减半，使得基准值包含的细节更少，这严重限制了数据集的质量。一般来说，这些数据集都是在退化的条件下收集的，在处理真实场景时，这可能会大大降低在这些数据集上训练的网络性能。目前还没有高质量的弱光下真实运动的原始视频去噪数据集。

除了数据集，视频去噪方法的有效性也是暗光视频恢复任务的重要部分。近几年，基于学习的端到端的视频去噪网络涌现了一些研究成果。对于图像去噪而言，目前已经有广泛的研究显示了编码器、解码器结构的有效性，得益于跳过连接的编码器-解码器架构。尽管图像去噪取得了惊人的成果，但视频去噪的一个主要问题是如何利用时间维度上的信息。为了在时间上对准多帧图像，现有方法普遍直接使用时序卷积，或使用光流、可变形卷积等技术手段来聚集时间特征。

对于视频去噪来说，空间以及时间信息是非常重要的。然而，现有的方法经常使用辅助模块进行排列，其中次优排列会损害其性能。另外，现有方法对多帧特征的融合可能没有充分地利用时间-空间维度的联合自相似性。在深度学习方法中，连续帧之间的自相似性还没有被仔细研究。

发明内容