[发明专利]基于强可逆对抗网络的数字病理图像HE染色复原方法

说明书

本发明涉及一种基于强可逆对抗网络的数字病理图像HE染色复原方法，该方法训练包含两个生成器和两个判别器的强可逆对抗网络，通过训练好的强可逆对抗网络对数字病理图像进行HE染色复原，强可逆对抗网络的训练过程包括：制作褪色前、后的图像数据集，然后不断训练正向过程和逆向过程，并计算总损失函数，直至总损失函数和生成器生成的图像质量达到预先设定的重建效果，停止训练，获得生成器和判别器最优的卷积权值参数和偏置参数。该方法有利于对褪色的数字病理图像进行颜色信息复原。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于强可逆对抗网络的数字病理图像 HE染色复原方法。

背景技术

苏木精-伊红染色法(hematoxylin-eosin staining)，简称HE染色法，是石蜡切片技术中最常见的染色方法。苏木精染液为碱性，主要使细胞核内的染色质与胞质内的核酸着紫蓝色；伊红为酸性染料，主要使细胞质和细胞外基质中的成分着红色。HE染色法是组织学、胚胎学科研中最基本、使用最广泛的技术方法。HE着色后的载玻片经过数字扫描仪扫描后，形成计算机可显示的数字病理图像。然而，制备好的切片随着时间的推移会逐渐褪色。

现有技术中已有关于HE染色归一化的技术，以此解决不同医院之间病理图像颜色不一的问题，但是还未见与HE染色复原直接相关的技术。而关于HE染色归一化主要可归纳为三种方法：第一种是颜色匹配的方法，这种方法是将当前图像的颜色谱匹配成模板图像的颜色谱。其中，Reinhard等在LAB色彩空间中将当前图像的每个颜色通道中的数值转换成和模板图像相匹配的数值，从而达到染色归一化的效果，但这种方法是进行全局匹配，并没有考虑到图像不同区域之间颜色的相关性，会导致局部区域的模糊，且耗时耗力。第二种方法是基于染色分离的方法，这种方法是依据光吸收原理将染色图像分离成H和E两个不同的通道，然后分别在这两个通道上进行颜色归一化。其中，Macenko等将RGB空间转换为光密度(OD)空间，提出了染色向量。Khan等将每个像素分配给特定的染色分量，并估计出染色矩阵。Bejnordi等认为这些方法没有考虑到组织的空间特征，可能会导致染色不当。第三种方法是基于深度学习的方法。其中，BenTaieb设计了一个基于GAN的染色迁移网络，其网络顶端具有判别式图像分析模型。但是，这种染色转移模型依赖于其顶部执行特定任务的自网络，不具备普适性。 Shaban提出了一种称为StainGAN的方法，该方法基于循环一致性对抗网络(CycleGAN)，将不成对(unpaired)图像进行风格的转换。循环一致性允许将图像映射到不同的颜色模型中，但保留相同的组织结构。虽然第三种方法在处理速度和颜色质量上都有了一定的提升，但是结果还是差强人意，并没有很好的解决染色归一化的问题。

发明内容

本发明的目的在于提供一种基于强可逆对抗网络的数字病理图像HE染色复原方法，该方法有利于对褪色的数字病理图像进行颜色信息复原。

为实现上述目的，本发明采用的技术方案是：一种基于强可逆对抗网络的数字病理图像HE染色复原方法，训练强可逆对抗网络，通过训练好的强可逆对抗网络对数字病理图像进行HE染色复原，整个强可逆对抗网络包含两个生成器G_A、G_B和两个判别器D_A、D_B，其中生成器G_A主要由编码G_{A_ENC}、映射G_{A_CORE}和解码G_{A_DEC}三部分组成，生成器G_B主要由编码G_{B_ENC}、映射G_{B_CORE}和解码G_{B_DEC}三部分组成，判别器 D_A、D_B采用PatchGAN结构，所述强可逆对抗网络的训练过程包括以下步骤：

步骤1：利用已有的数字病理图像分别制作褪色前、后的图像数据集，将褪色后的数据集作为A域数据，未褪色的数据集作为B域数据；

步骤2：训练正向过程，将A域数据x输入正向生成器G_A，生成具有B域颜色风格的数据，其计算公式为：