[发明专利]基于深度学习的荧光编码微球图像生成及标注方法

权利要求书

1.一种基于深度学习的荧光编码微球图像生成及标注方法，其特征是，步骤如下：

步骤1：约束值设置。在计算机中手动设置微球数量范围、微球大小范围、微球荧光编码值范围、运动区域四种约束参数；

步骤2：图像标签随机生成。基于步骤1中设置约束参数随机生成1组荧光编码微球图像参数，作为图像标签；

步骤3：训练样本集与测试集建立，首先将真实荧光编码微球图像裁剪为256*256大小图像，重复步骤2，生成大量图像标签，然后利用计算机脚本，生成与图像标签一一对应的256*256大小的原始合成图像，以0.8:0.2比例随机划分为两部分，其中0.8比例部分与真实图像合并作为训练样本集，用于模型训练；0.2比例部分作为验证样本集，用于模型评估；

步骤4：构建循环生成对抗网络CycleGAN，该CycleGAN由包括从X到Y正向生成网络与Y鉴别网络的正向GAN、和包括从Y到X的反向生成网络与X鉴别网络的反向GAN构成，生成网络用于实现样本空间转换并生成图像，鉴别网络用于判断输入图像是否属于相应样本空间；

步骤5：CycleGAN训练，CycleGAN的训练过程用下式表示：

其中G^*表示正向生成网络最优解、F^*表示反向生成网络最优解，训练过程视为以下两步骤的迭代过程：步骤一是基于预设鉴别网络学习率超参数值，利用梯度下降法更新鉴别网络结点参数值，生成网络结点参数值保持不变；步骤二是基于预设生成网络学习率超参数值，利用梯度下降法更新生成网络结点参数值，鉴别网络结点参数值保持不变。训练迭代过程为：执行步骤一多次后，执行步骤二一次，重复该迭代过程，直至训练完毕；

步骤6：网络性能评估。将验证样本逐个输入步骤5中训练完成的CycleGAN中，评估网络性能，如性能不佳，重复步骤2、3生成更多训练样本，继续网络训练；

步骤7：图像生成。将训练完成的正向生成网络模型参数导出，利用1组随机生成图像标签生成1组原始合成图像和标签数据，然后将原始合成图像作为已导出的正向生成网络输入，生成1组与标签数据相对应的近真实荧光编码微球图像。

2.如权利要求1所述的基于深度学习的荧光编码微球图像生成及标注方法，其特征是，鉴别网络具体结构是；网络损失函数为：

L(G,F,D_X,D_Y)＝L_GAN1(G,D_Y,X,Y)+L_GAN2(F,D_X,Y,X)+λL_cyc(G,F)

其中，

上述公式中，L_GAN1为正向GAN的损失函数，L_GAN2为反向GAN的损失函数，L_cyc为循环一致性损失函数；G表示正向生成网络，F表示反向生成网络，D_Y表示Y鉴别网络，D_X表示X鉴别网络，X表示原始合成图像分布域，Y表示真实图像分布域，x表示训练样本集中原始合成图像样本，y表示训练样本集中真实图像样本，λ表示正向GAN和反向GAN的循环一致性损失权重，为可调整参数；D_Y(y)表示Y鉴别网络判断样本y来自分布Y的概率，D_X(x)表示X鉴别网络判断样本x来自分布X的概率，D_Y(G(x))表示Y鉴别网络判断G(x)来自分布Y的概率，D_X(F(y))表示X鉴别网络判断F(y)来自分布X的概率。

3.如权利要求1所述的基于深度学习的荧光编码微球图像生成及标注方法，其特征是，步骤4具体地，构建循环生成对抗网络：该CycleGAN由包括正向即X到Y生成网络与Y鉴别网络的正向GAN、和包括反向即Y到X生成网络与X鉴别网络的反向GAN构成，生成网络用于实现样本空间转换并生成图像，鉴别网络用于判断输入图像是否属于相应样本空间，网络包含正向反向两个实现过程，其中正向过程为将正向输入图像InputX输入正向生成网络中生成正向生成图像GeneratedY，并将正向生成图像GeneratedY输入反向生成网络生成正向循环图像CyclicX；反向过程为将反向输入图像InputY输入反向生成网络生成反向生成图像GeneratedX，并将反向生成图像GeneratedX输入正向生成网络生成反向循环图像CyclicY；在此过程中分别将正向输入图像InputX和反向生成图像GeneratedX输入X鉴别网络，反向输入图像InputY和正向生成图像GeneratedY输入Y鉴别网络，用于训练鉴别网络；正向生成网络与反向生成网络结构相同，由编码层、转换层、解码层构成，其中编码层由连续3层卷积层构成，卷积核数量、大小、步长参数分别为(32,7×7,1)、(64,3×3,2)、(128,3×3,1)；输出编码输入转换层进行图像风格转换，转换层由9层残差模块构成，其中残差模块具体结构是，输入数据经过连续两个128×3×3，步长为1的卷积层处理后得到输出数据并与输入数据相加作为下一个残差模块的输入，卷积层使用批规范化层BN(Batch Normalization)改善训练速度，使用线性整流函数ReLU(Rectified Linear Unit)作为卷积层输出函数；解码层由3层反卷积层构成，卷积核数量、大小、步长参数分别为(64,3×3,2)、(32,3×3,2)、(3,7×7,1)，解码层输出图像大小、深度与输入图像相同；Y鉴别网络与X鉴别网络的结构相同，具体结构由连续5层卷积层构成，其中前4层卷积层用于提取图像特征，第5层卷积层生成鉴别结果，各层卷积核数量、大小、步长参数分别为(64,4×4,2)、(128,4×4,2)、(256,4×4,2)、(512,4×4,2)、(1,1×1,1)。CycleGAN网络损失函数为

L(G,F,D_X,D_Y)＝L_GAN1(G,D_Y,X,Y)+L_GAN2(F,D_X,Y,X)+λL_cyc(G,F)

其中，

上述公式中，L_GAN1为正向GAN的损失函数，L_GAN2为反向GAN的损失函数，L_cyc为循环一致性损失函数；G表示正向生成网络，F表示反向生成网络，D_Y表示Y鉴别网络，D_X表示X鉴别网络，X表示原始合成图像分布域，Y表示真实图像分布域，x表示训练样本集中原始合成图像样本，y表示训练样本集中真实图像样本，λ表示正向GAN和反向GAN的循环一致性损失权重，为可调整参数；D_Y(y)表示Y鉴别网络判断样本y来自分布Y的概率，D_X(x)表示X鉴别网络判断样本x来自分布X的概率，D_Y(G(x))表示Y鉴别网络判断G(x)来自分布Y的概率，D_X(F(y))表示X鉴别网络判断F(y)来自分布X的概率。