[发明专利]Raw域视频去噪监督数据集构造方法

说明书

本发明公开了一种Raw域视频去噪监督数据集构造方法，步骤1、将Raw域噪声建模为泊松‑高斯混合噪声；步骤2、拍摄Flat‑field帧以及Bias帧，校正噪声模型在指定ISO下的参数；步骤3、进行ISP仿真与逆ISP仿真，实现可视化Raw图像和生成对应的sRGB域视频图像，将sRGB域视频图像变换为Raw域视频图像；步骤4、准备数据集，包括合成噪声仿真数据集和拍摄真实Raw域视频数据集。与现有技术相比，本发明的一种Raw域视频去噪监督数据集构造方法可用于仿真Raw域噪声，可用于构建大量的“干净‑噪声”成对Raw域视频数据，支持Raw域视频去噪工作。

技术领域

本发明属于计算机图像处理技术领域，特别涉及一种Raw域视频去噪的相关处理技术。

背景技术

近些年来随着智能手机、监控摄像机、自动驾驶的迅速发展，人们对高质量图像和视频的需求日益突出。然而在恶劣环境下很难保证高质量的成像，例如大部分成像设备在低光照条件下往往会设置较高的ISO，导致生成的视频具有很大的噪声，从而影响后续的视频分析和观赏者的视觉感受。在传感器直接记录的Raw域视频上，噪声遵循接近于泊松高斯分布的简单分布模式，但在经过成像设备ISP(Image Signal Processor)处理后的sRGB域视频上，噪声分布变得非常复杂而且难以建模，因此Raw域去噪比sRGB域去噪更有优势。此外，Raw域的噪声会影响ISP中诸如白平衡、颜色校正、Gamma变换等算法的性能，所以去除Raw域噪声有助于改善后续的ISP处理，生成更高质量的图像，具有重要意义。

卷积神经网络具有强大的拟合能力，已经用于图像检测、分割、复原等多个领域并取得良好的性能。但基于卷积神经网络的方法往往需要大量的数据进行训练，目前已存在多个公开的真实图像去噪数据集，但尚无动态场景下的Raw域视频去噪数据集。

发明内容

为了克服现有技术的不足，本发明提出一种Raw域视频去噪监督数据集构造方法，通过逆ISP与噪声建模方法构建仿真数据集，通过控制目标运动和按时间顺序拍摄burst图像构建真实数据集。

本发明的一种Raw域视频去噪监督数据集构造方法，包括以下步骤：

步骤1、将Raw域噪声建模为泊松-高斯混合噪声，噪声模型表达式为：

其中，x_p表示观测到的噪声图像，y_p表示理想的无噪声图像，表示高斯噪声分量的方差，表示泊松噪声分量的方差，表示泊松分布，表示高斯分布，～表示是属于……分布；

步骤2、拍摄Flat-field帧以及Bias帧，校正噪声模型在指定ISO下的参数；

步骤2.1、拍摄Flat-field帧的具体操作为：将一张白纸贴于墙上，调节相机到指定ISO，对准白纸中心，并调整焦距使白纸充满镜头画面：设定不同的快门时间，对于每个快门时间，连续拍摄两张图像，并分别裁剪各自中心区域400×400大小的块，命名为z_a与z_b；用(z_a+z_b)/2的中位数作为真实信号的估计，用的方差作为噪声方差的估计，从而得到信号-噪声方差图上的一个点；根据多个快门时间得到的多个点估计噪声方差曲线的斜率，即

步骤2.2、拍摄Bias帧的具体操作为：将相机置于暗室中，并用镜头盖盖住相机镜头，使得拍摄图像中只含有read noise，调节相机到指定ISO，拍摄一张全黑图像，对该张图像求噪声方差，作为校正之后得到：ISO＝1600时，ISO＝3200时，ISO＝6400时，ISO＝12800时，ISO＝25600时，

步骤3、进行ISP仿真与逆ISP仿真，实现可视化Raw图像和生成对应的sRGB域视频图像，将sRGB域视频图像变换为Raw域视频图像，具体处理如下：