[发明专利]一种基于深度学习的图像重建算法提升单像素相机成像质量的优化方法

权利要求书

1.一种基于深度学习的图像重建算法提升单像素相机成像质量的优化方法，其特征是：该方法包括如下步骤：

步骤1、基于压缩感知基本原理和单像素相机的成像原理，选定一种便于硬件实现的0-1二进制确定性测量矩阵对原始信号进行采样和测量；为了使测量矩阵和单像素相机中DMD微镜序列相对应，因此使用这种固定而非随机的0-1二进制对角测量矩阵；

步骤2、利用新的深度神经网络架构来模拟测量矩阵测量信号的方式以及测量信号和原始信号对应关系，这种深度神经网络针对图像超分辨率重建和单像素相机超分辨率成像的特点进行了相应的改进优化，网络分为特征提取模块和上采样模块，新的深度神经网络使用了改进的残差网络模块作为神经网络的基本结构，消除网络的冗余性，同时在最后一个卷积层后面加入一个尺度因子来稳定网络训练过程，使得这种新型深度神经网络架构具有更加高效的结构和更加优异的性能；其中，根据单像素成像系统中DMD微镜的扫描投影方式以及深度学习图像超分辨率重建技术设计了新的神经网络结构，把这种网络结构用于单像素超分辨率成像算法中，具体的实现方式如下：在深度学习技术应用在图像超分辨重构之后，残差网络(ResidualNetwork)被引入到深度学习中，残差网络的引入使我们能够训练出更加复杂更加深层次的网络结构，也可以有效地提高网络性能，针对单像素相机重构出超分辨率的图像，根据改进后的残差网络设计了新的神经网络模型，在新的神经网络模型的网络架构中，以残差网络为主轴来提取测量信号的特征，然后使用PixelShuffle对这些特征进行上采样，使用的残差网的具体结构由三个不同的卷积层构成，α是一个可学习的尺度参数，使用的残差网络中，批归一化(BatchNormalization,BN)层被去除，由于BN层的作用是对图像特征之间的相关性进行正则化，但这会使网络丧失一定的灵活性，而新的深度学习网络用于图像的超分辨率重建，为了重建图像的纹理和细节，对训练学习图像之间的相关性并没有要求，而且BN层会占用GPU大量的计算资源，去掉BN层不仅可以节约大量的计算资源，还可以提高图像细节的重建能力，另外，对于数据集和训练方式而言，使用的数据集为DIV2K，这个数据集包括了900多张高分辨率图像，对DIV2K数据集进行了720次的迭代训练，使用的数据增广方式有随机剪裁，随机镜像和随机翻转，剪裁大小为256x256，所以网络标记图像尺寸为256×256，相应输入图像的尺寸为64×64，对应单像素相机的采样率为1/16；

步骤3、通过上述数据集对该深度神经网络进行训练学习，通过对网络的训练和学习去还原和逼近测量矩阵的采样过程和单像素相机DMD的信号采集过程，从而更好地恢复重建出原始信号和成像场景；

步骤4、通过训练学习后的网络根据图像的测量值对图像进行仿真重建，以及根据单像素相机的采集得到的信号对原始场景进行恢复成像，验证新型深度学习算法提高图像重建质量以及单像素相机成像质量的有效性，从而更好完成深度学习单像素成像。

2.根据权利要求1所述的一种基于深度学习的图像重建算法提升单像素相机成像质量的优化方法，其特征是：在卷积层后面加入一个衰减的尺度因子用来增加神经网络的稳定性，并且这个尺度因子也作为训练学习的参数之一，在神经网络的学习训练过程中自适应地去调整这个尺度因子的大小。