[发明专利]一种基于深度学习的稀疏颜色传感器图像重建方法

权利要求书

1.一种基于深度学习的稀疏颜色传感器图像重建方法，其特征在于，按照以下步骤具体实施：

步骤1、构建亮度恢复网络，根据raw图像中占96％的全色像素W_S恢复出100％的全色像素图像W_R，具体过程是，

利用raw图像中占96％空间的全色像素W_S计算出全部空间上的全色像素图像W_R，亮度恢复网络的结构依次为：全色像素W_S作为输入→第一个卷积层Conv1→第二个卷积层Conv2→第三个卷积层Conv3→第四个卷积层Conv4→第五个卷积层Conv5→第六个卷积层Conv6→输出全色像素图像W_R，

其中Conv1、Conv2和Conv3的特征映射图的总数均为64个，Conv4和Conv5的特征映射图的总数均为128个；前五个卷积层的卷积核大小均为3×3，卷积步长均为1，并通过ReLU函数激活；网络的最后一层卷积层的尺寸为H×W×1，其中H和W分别代表输入图像的高度和宽度；输出层通过双曲正切函数激活；在恢复100％的全色像素图像W_R的同时，采用Canny边缘提取算法提取出边缘特征E_R作为低级特征，表达式为E_R∈[0,1]^H×W×1，

亮度恢复网络的每一层均使用批量归一化函数进行归一化处理，在训练亮度恢复网络时，采用将L₁+SSIM损失函数组合在一起作为最终的网络训练损失函数，表达式为：

式(1)中，L(W_G,W_R)表示真实图像的全色像素图像W_G和恢复出来的全色像素图像W_R之间的损失；

p表示像素，P表示整个图像块，N表示图像块中像素的总数，W_G(p)和W_R(p)分别是W_G和W_R的像素值；

其中，和分别表示W_G和W_R的平均值，和是标准偏差，是真实图像的全色像素图像W_G和恢复出来的全色像素图像W_R的协方差，C₁和C₂是常量，l是亮度分量，c是对比度分量，s是结构分量；

步骤2、构建生成对抗网络WGAN，具体过程是，

构建一个颜色重建网络CRN并设置该网络的每层参数，作为生成对抗网络WGAN中的生成器，该网络的输入数据包含：步骤1获得的100％全色像素图像W_R、边缘特征E_R、以及raw图像中的占4％空间的稀疏RGB像素C_S，网络输出为重建的RGB彩色图像I_R，

颜色重建过程采用对抗训练，颜色重建网络CRN作为生成器，对抗模块作为判别器，颜色重建网络CRN的结构依次为：集合K＝{W_R,C_S,E_R}作为输入→第一个卷积块ConvB1→第一个密集-过渡块Dense1-Tran1→第二个密集-过渡块Dense2-Tran2→第三个密集-过渡块Dense3-Tran3→第二个卷积块ConvB2→第三个卷积块ConvB3→第四个卷积块ConvB4→第五个卷积块ConvB5→第六个卷积块ConvB6→第七个卷积块ConvB7→第八个卷积块ConvB8→输出RGB彩色图像I_R，

其中，Dense1-Tran1与ConvB7相连，Dense2-Tran2与ConvB6相连，Dense3-Tran3与ConvB5相连，ConvB1的特征映射图的总数为15个，卷积核大小为3×3，卷积步长为1，通过ReLU函数激活；

ConvB1首先处理全色像素图像W_R和稀疏RGB像素C_S，然后将边缘特征图像P_R与ConvB1的输出连接在一起，因此，输出尺寸变为H×W×16，其中H是图像高度，W是图像宽度；ConvB1的串联输出以前馈方式馈入Dense1，通过Tran1连接到Dense2，Dense2通过Tran2连接到Dense3；

Dense1、Dense2、Dense3块的输出尺寸分别为64、128和256，卷积核大小均为3×3，卷积步长均为1；此外，Dense1、Dense2、Dense3块中的每一层都通过批处理归一化函数进行归一化，并通过ReLU函数激活；使用g＝8的增长率来增加每次出现密集块时的卷积层数；

Tran1、Tran2、Tran3块由卷积层和下采样层组成，每个卷积层的卷积核大小均为3×3，卷积步长均为1，并通过ReLU函数激活；下采样层卷积核大小均为3×3，卷积步长均为2；

ConvB2块有两个卷积层；ConvB3块包含五个扩张卷积层，其dilation＝2；ConvB4块具有单个卷积层；ConvB2、ConvB3、ConvB4块的每一层的卷积核的核大小为3×3，步长大小为1，深度为512，通过批量归一化函数进行归一化，并通过ReLU函数进行激活；

ConvB5、ConvB6、ConvB7块用作上采样块，输出尺寸分别为256、128、64，每个块都由一个卷积核大小为2×2上采样卷积层和另一个卷积核大小为3×3的卷积层组成，使用批量归一化函数进行归一化，并通过ReLU函数激活；

ConvB8块的输出尺寸为H×W×3，使用tanh函数激活重建的RGB彩色图像I_R；

构建一个对抗模块并设置该网络的每层参数，将其作为生成对抗网络WGAN中的判别器，用来判断颜色重建网络CRN重建的RGB彩色图像I_R与原始图像I_G相比是否为真实样本；

步骤3、更新对抗模块参数；

步骤4，更新颜色重建网络参数；

步骤5，建立非线性映射关系，

训练对抗模块和颜色重建网络，直到对抗模块的损失值达到最大，颜色重建网络的损失值达到最小；保存训练好的颜色重建网络的结构及各层参数，得到建立好的非线性映射关系；

步骤6，获取RGB彩色图像，

将测试数据输入到训练好的颜色重建网络中，得到RGB彩色图像。