[发明专利]基于交互对抗学习的全聚焦图像生成方法

权利要求书

1.一种基于交互对抗学习的全聚焦图像生成方法，其特征在于，步骤如下：

该基于交互对抗学习的全聚焦图像生成方法分为非聚焦模糊检测和全聚焦图像生成两个阶段；

第一阶段，非聚焦模糊检测采用镂空-填充交互学习的方式

在非聚焦模糊检测阶段，采用VGG16的前13层作为编码器，以双线性上采样结合卷积层作为解码器，构造基础网络来提取非聚焦特征，从而生成非聚焦模糊检测图；

E1-E5这5个卷积块和VGG16的前13层结构相同，由卷积层和池化层组成，是网络的特征编码器；E1的输入是一幅3×320×320的三通道RGB图像，E5的输出是512×20×20的特征；D1-D4这4个解码块，每个解码块都是由两层卷积和双线性上采样层组成；对每个解码块的输出特征进行1×1的卷积降维和Sigmoid归一化，获得边缘或区域检测结果再进行监督；考虑到区域监测的单任务中，网络提取的特征是偏区域的，边缘检测的任务中，网络提取的特征是偏边缘的；因此采用双支路交互的方式，交互方式如公式(1-1)所示，在两个支路网络中同时进行区域和边缘这两个任务，在中间过程进行双任务特征的镂空-填充交互，并在每一条支路的解码器中依次顺序重复镂空和填充的过程，对区域特征进行镂空能指导边缘特征的自身优化，对边缘特征进行填充有助于区域特征减少噪声；在各个阶段辅以监督，更新整体网络参数，从而提高网络提取特征的能力，提升非聚焦检测效果；

其中，D_{i_E}和D_{i_R}分别表示第i个边缘和区域的解码块，X表示解码块的输入特征，Y表示编码块的输出特征，表示特征图拼接，每一个检测结果都对应边缘或区域的监督；

第二阶段，全聚焦图像生成采用对抗学习的方式

得到模糊检测图后，进入全聚焦图像生成阶段，以12个卷积层作为生成器，以7个卷积层结合全局平均池化作为鉴别器，从而构造生成对抗网络来生成全聚焦图像，生成过程如公式(1-2)所示：

其中，表示第i个区域解码块所输出的非聚焦模糊检测图像，G_i(·)表示第i个全聚焦图像生成器，I_i表示其输出的全聚焦图像；

在网络训练阶段，为减小输出异常值的影响，非聚焦模糊区域检测结果使用的是均方差损失函数：

其中，g_dk表示非聚焦模糊检测图中第k个像素对应的真值，y_dk表示其预测值，N表示图像中像素总个数；

非聚焦模糊边缘检测结果使用的是二分类交叉熵损失函数：

其中，g_ek表示非聚焦模糊边缘检测图中第k个像素对应的真值，y_ek表示其预测值,N表示图像中像素总个数；

全聚焦图像生成结果使用的是生成对抗损失函数：

其中，D_i(·)表示鉴别器，G_i(·)表示全聚焦图像生成器，z_c为全聚焦图像样本，Z_c为全聚焦图像集合，其中z_c∈Z_c；z_s为生成器输出的全聚焦图像样本，Z_s为生成器输出的全聚焦图像集合，其中z_s∈Z_s；表示取整个样本集合的平均值；

最终网络总的损失函数为：

其中，λ₁、λ₂、λ₃用于平衡三种损失。