[发明专利]一种基于潜在扩散模型的自然图像压缩感知方法

权利要求书

1.一种基于潜在扩散模型的自然图像压缩感知方法，包括采样模块、初始编码模块、潜在扩散模块和解码模块四个子模块，其特征在于：

(1) 采样模块首先将原始彩色自然图像切割为尺寸为的图像块，则每个图像块包含个输入，并将每个图像块展开为向量，然后使用可学习的测量矩阵，其中，将维输入投影为维测量值以便传输和存储，在训练过程中测量矩阵被初始化为高斯随机矩阵；

(2) 初始编码模块首先用可学习的重建矩阵，将测量值投影为维向量，再将其重塑并拼接为初始重建图像，然后使用一个可学习的下采样网络将初始重建编码为可输入扩散模块的条件，其中下采样网络使用两个的平均池化层得到压缩比为4，通道数为5的条件，在每个尺寸上均使用两个有“ReLU”激活函数的卷积层处理特征图，特征图通道数均为64；

(3) 潜在扩散模块包括前向过程和后向过程，前向过程首先使用预训练的向量量化生成对抗网络的编码器，得到原始图像的潜在编码，然后向其添加强度递增的噪声，得到一系列含噪编码{}，其中接近标准高斯噪声，后向过程以随机噪声和条件为输入，通过UNet逐步预测添加在图像编码上的噪声，最终输出原始图像的潜在编码，其中UNet的层数为4，每一层特征图的通道数分别为160、320、640和1280，并在最小尺寸特征图上使用注意力机制；

(4) 解码模块为预训练的向量量化生成对抗网络的解码器，以潜在扩散模块预测的编码为输入，首先针对中每个元素，在预训练的码本上寻找最接近的编码，并用其替换中相应的元素，然后经过多次卷积及上采样得到重建图像，其中解码器由两个倍率为2的上采样网络和一个输出层构成，第一个上采样网络包含两个通道数为128的残差块和一个双线性插值操作，第二个上采样网络包含两个通道数为64的残差块和一个双线性插值操作，输出层为单层卷积神经网络，输入通道为64，输出通道为3。