[发明专利]一种基于生成对抗网络的图像分割方法、系统和装置

权利要求书

1.一种基于生成对抗网络SEG-GAN的图像分割方法，其特征在于，方法包括以下步骤：

S1:用有标签数据预训练过的判别器网络预测出置信图，生成对抗网络SEG-GAN将所述置信图作为监督信号，并通过自学指导交叉熵损失；其中，置信图指示预测分布的哪些区域接近真实标签图分布，使得这些预测可以由分割网络通过屏蔽其他不可信区域的交叉熵损失来进行有监督信号的训练；

S2：在未标记数据上应用对抗性损失，生成对抗模型对未标记数据的预测结果与真实标签图分布相接近；

S3：分割网络S为3D-MedGAN的生成器结构，给定一个维度H×W×D×1的输入MR图像x，分割网络输出大小为H×W×D×C的语义标签概率图S(x)，其中C是语义类别的数量；

S4：生成器网络G负责根据一个固定维度的随机向量z生成出一个与输入图像相同大小H×W×D×C的语义标签概率图G(z)；

S5：判别器网络D依赖于分割网络和生成器网络，以分割网络预测的概率图S(x)、生成器网络生成出的概率图G(z)以及真实标签图y的one-hot图作为输入，然后输出大小为H×W×D的置信图p；置信图p上的每一个像素点表示输入图像x在与之对应的位置上的标签是从真实标签图y,p＝1或虚假标签图,p＝0，包括S(x)和G(z)的采样；

其中，生成对抗模型包括两个“生成器”和一个判别器；两个“生成器”中，一个是一个对输入的MR预测出标签概率图的分割网络S和一个将随机噪声转换成标签概率图的生成器G，通过将分割网络S和生成器G预测的标签概率图作为假样本，将标记数据的标注作为真样本，来训练判别器，使判别器具备将真实标注与虚假标注分离的能力；判别器根据预测来得到指示矩阵；指示矩阵用于保留下分割网络S对无标注样本的相对可靠的预测作为监督信号进行自训练；

分割网络S根据的输入数据x包含了标记数据x_l和未标记数据x_u，每个标记数据x_l都有对应的标签图y_l，在这里H×W×D大小的标签图y_l将会进行one-hot编码变为具C个通道离散标签概率图y_l，每个位置上的标签都会把概率图y_l上代表其类别的通道设置为1，剩余其他通道上同样位置全部设置为0；

在训练过程中，当使用标记数据x_l时，分割网络S由将由预测出的标签概率图S(x_l)与真实标签图y_l的标准交叉熵损失以及判别器网络D鉴别y_pred的对抗性损失进行引导，更新网络中的各个参数；

对于未标记的数据使用自监督学习方法训练分割网络,在由分割网络S预测出未标记图像x_u的初始分割标签概率图S(x_u)之后，通过判别器网络D预测出标签概率图S(x_u)每一个位置上的置信度，得到置信度图p，通过置信度图指示预测的分割区域的质量，使得分割网络S在训练期间的结果可以被信任；

然后通过在置信度图p上取阈值保留下置信度高的区域，并取预测标签概率图S(x_u)在这些区域上所有通道里概率最大通道作为该区域的标签，得到伪标签图，同样将伪标签图进行one-hot编码得到y_u；

然后以置信度高的区域上分割网络S预测标签概率图S(x_u)和y_u之间的交叉熵损失与判别器网络D的对抗性损失来训练分割网络；生成器网络根据随机噪声z生成出虚假的标签概率图G(z)，通过取相同位置上值最大的通道作为标签得到y_g，同时利用判别器计算出生成器损失

判别器网络D将从鉴别真实数据标记好的标签概率图y_l及分割网络预测出的假标签概率图y_pred得到引导,y_u和鉴别真实标签概率图yl以及生成器网络生成出的假标签概率图y_g将产生最小化的判别器损失由于训练过程是轮流优化分割网络S和判别器网络D，因此对抗性损失和判别器损失不会同时使用。