[发明专利]一种基于深度学习的稀疏颜色传感器图像重建方法

说明书

本发明公开了一种基于深度学习的稀疏颜色传感器图像重建方法，步骤包括：步骤1、构建亮度恢复网络，根据raw图像中占96％的全色像素Wsubgt;S/subgt;恢复出100％的全色像素图像Wsubgt;R/subgt;；步骤2、构建生成对抗网络WGAN；步骤3、更新对抗模块参数；步骤4，更新颜色重建网络参数；步骤5，建立非线性映射关系；步骤6，获取RGB彩色图像，将测试数据输入到训练好的颜色重建网络中，得到RGB彩色图像。本发明的方法，每个像素位置只采样了一种颜色，可用于恢复单传感器相机raw图像的完整彩色信息，较传统方法获得更清晰的彩色图像细节。

技术领域

本发明属于图像处理技术领域，涉及一种基于深度学习的稀疏颜色传感器图像重建方法。

背景技术

在过去的十年中，数码相机有了很大的发展。数码相机的基本原理是，采用单个传感器的成像结构，一次曝光获得一幅图像，传感器表面覆盖滤光片，曝光成像时，传感器的每个像素位置只采集一种颜色，这种直接采样获取的图像称为raw图像，需通过软件方法重建出每个像素位置上没有直接采样的颜色，这个重建过程被称为图像去马赛克。当前RGB数码相机中，传感器表面最常见的滤光片阵列是Bayer阵列，成像区域由2×2的重复阵列组成，每组2×2阵列包含2个绿色像素(G)、1个红色像素(R)、1个蓝色像素(B)。近些年针对Bayer阵列raw图像的去马赛克技术取得了一定进步，但采用Bayer阵列的相机在拍摄弱光场景图像时仍存在图像不清晰、细节丢失等缺陷。

为了克服Bayer阵列成像在弱光条件下的成像缺陷，Kodak公司提出了RGBW滤光片阵列，在RGB基础上加入了W全色像素。与表面覆盖了滤光片的R、G、B三色像素不同，W全色像素没有覆盖滤光片，从而意味着可接收更多光线进入传感器，从而引发传感器的光电响应，利于捕捉弱光条件下的图像信息，但是其技术效果还是不够理想。

发明内容

本发明的目的是提供一种基于深度学习的稀疏颜色传感器图像重建方法，解决了现有技术在采用Bayer阵列的相机拍摄弱光场景图像时，仍存在图像不清晰、细节丢失，弱光条件下的成像质量差的问题。

本发明采用的技术特征是，一种基于深度学习的稀疏颜色传感器图像重建方法，按照以下步骤具体实施：

步骤1、构建亮度恢复网络，根据raw图像中占96％的全色像素W_S恢复出100％的全色像素图像W_R；

步骤2、构建生成对抗网络WGAN；

步骤3、更新对抗模块参数；

步骤4，更新颜色重建网络参数；

步骤5，建立非线性映射关系，

训练对抗模块和颜色重建网络，直到对抗模块的损失值达到最大，颜色重建网络的损失值达到最小；保存训练好的颜色重建网络的结构及各层参数，得到建立好的非线性映射关系；

步骤6，获取RGB彩色图像，

将测试数据输入到训练好的颜色重建网络中，得到RGB彩色图像。

本发明的有益效果是，首先建立一个亮度恢复网络，从占96％空间的W全色像素中恢复出其余4％空间位置上的W颜色值，得到完整的W颜色值(将其称为W亮度通道图像)，并根据W通道图像提取边缘信息的低级特征。然后利用亮度恢复网络的输出和raw图像中的RGB采样值，重建所有位置上的RGB值，获得完整的RGB彩色图像。采用本发明所提出的RGBW滤光片阵列获取的raw图像，每个像素位置只采样了一种颜色，可用于恢复单传感器相机raw图像的完整彩色信息，从而解决单传感器快照式成像存在的颜色丢失和颜色伪影等问题；同时，能够有效提高低光照条件下的成像质量，较传统方法获得更清晰的彩色图像细节。

附图说明

图1是本发明方法采用的传感器表面的RGBW滤光片阵列示意图；