[发明专利]一种基于生成对抗网络的多监督图像超分辨重建方法

说明书

本发明公开了一种基于生成对抗网络的多监督图像超分辨重建方法，将同一切片的不同分辨率的切片图像进行配准；利用配准后的切片图像制作训练数据集；在训练数据集上，使用多监督多阶段生成模型训练生成对抗模型；利用训练好的生成对抗模型，将低分辨图像重建为高分辨图像。本发明将低倍镜下拍摄的图像重建为高分辨率的图像，既能够节省成像时间又能够节省存储图像的硬件空间，克服常见方法在病理数据上的模糊及伪影。

技术领域

本发明属于图像处理技术领域，更具体地，具体涉及一种基于生成对抗网络的多监督图像超分辨重建方法，尤其适用于病理切片图像。

背景技术

目前细胞显微图像需要物镜在20x及以上的放大倍数才能够清晰成像，但是成图时间长，需要的存储空间大。4x物镜下的成像速度快，对设备精度要求低。但是4x物镜下的成像分辨率低、景深大，成像不具备实用性。如果在低倍镜下拍摄的图像能够重建出高分辨率的图像，既能够节省成像时间又能够节省存储图像的硬件空间。

国内外一些研究者提出了基于学习或基于实例的超分辨的概念。该类方法的基本思想是通过学习获得先验知识来重建图像，但效果有限。近年来，基于深度学习的超分辨方法效果显著，但是绝大部分模型基于退化数据，对于从真实世界采集的不同分辨率的图像，应用有一定限制。

综上所述，低倍物镜成像超分辨具有很大实用性，但各种超分辨重建方法在病理数据上效果有限。

发明内容

针对现有技术的不足，本发明提出了一种基于生成对抗网络的图像超分辨重建方法，其目的在于，克服常见方法在病理数据上的模糊及伪影，将低倍镜下拍摄的图像重建为高分辨率的图像，既能够节省成像时间又能够节省存储图像的硬件空间。

一种基于生成对抗网络的多监督图像超分辨重建方法，将低分辨率图像输入生成对抗网络模型，生成对抗网络模型输出高分辨率图像，所述生成对抗网络模型按照如下方式构建：

(1)制作训练数据集

提取同一目标成像区域的低分辨率图像和高分辨率图像，分别在低分辨率图像和高分辨率图像中选取前景区域L、H，对区域L和H进行配准，获得同一区域的高低分辨率Patch(L，H)；

(2)训练模型

构建包括生成器和鉴别器的生成对抗网络模型，将Patch(L，H)中的低分辨率图像L作为生成器的输入，生成器输出与Patch(L，H)中的高分辨率图像H相似的图像H’，鉴别器鉴别图像H和H’的真伪，如此反复学习和对抗，训练得到生成器。

进一步地，所述生成对抗模型采用的损失函数为：

L_G＝L_mse+α*L_p+β*L_adver

其中，L_mse是均方误差，L_p是感知损失，L_adver是生成器对抗损失，L_D是鉴别器对抗损失L_G是生成器总损失函数；N是样本数量，C,H,W为图像尺寸， x^{n}为第n个样本，I^{n}为低分辨率图像x^{n}对应的高分辨图像，y是真实高分辨图像的标签；G_θ，D_Θ分别对应生成器和鉴别器，Φ是预训练好的vgg模型，其输出的是特征图；α，β平衡各项损失函数。

进一步地，所述步骤(1)制作训练数据集的具体实施方式为：

(11)粗配准