[发明专利]一种基于GSCGAN的图像灰度立体转换方法

说明书

本发明公开了一种基于GSCGAN的图像灰度立体转换方法，包括如下步骤：步骤1：构建明场模式图像集、相衬模式图像集以及微分干涉模式图像集；步骤2：用相衬成像及微分干涉成像中的光线传播卷积公式代替传统GAN中的卷积传播运算来构建复值GAN，建立初步GSCGAN模型；步骤3：将训练图像输入初步GSCGAN模型中进行训练，得到GSCGAN模型；步骤4：将透明目标样本图像输入GSCGAN模型进行测试，得到结果图像。本发明采用基于GSCGAN的模型来对透明样本图像进行了灰度立体转换，得到了相衬干涉效果或微分干涉效果的图像。所构建的模式判别器D_m可以判断图像为相称效果图还是微分干涉效果图，使输入一幅图像可以输出两种不同的效果图像。并且提出了灰度损失函数，有效保存正确信息的同时避免了颜色混乱对结果造成伪彩色的影响。

技术领域

本发明属于图像处理技术领域、显微成像技术领域，具体涉及一种基于GSCGAN的图像灰度立体转换方法。

背景技术

普通显微镜在明场下观察透明样本时，常常无法清晰准确地观察到样本的层次结构和纹理细节，虽然进行染色之类的处理可以观察到，但同时存在破坏样本细胞的风险。相衬显微的方法利用观察对象密度及成分不同而在光照射下产生不同相位差的原理，将相位差转换为人肉眼可以分辨的明暗差别，可以比较清楚地观察生物样本的细微结构。而微分干涉相衬法所观察到的样品层次结构明显，呈浮雕状，方便判断许多明场下所看不到的或难于判别的一些结构细节。目前相衬显微系统以及微分干涉相衬显微系统需要干涉棱镜等昂贵光学附件以致整个系统成本颇高，因此利用计算成像方法将普通廉价显微镜转换成相衬或微分干涉相衬显微镜，可大大降低成本。

近年来，深度学习被广泛应用于机器学习、图像识别、遥感成像、医学图像等多个领域。图像风格转换即把图像风格应用于给定图像来增添图像的多样化呈现。利用深度学习方法进行风格转换是图像领域研究的热点之一。其中生成对抗网络(GenerativeAdversarial Nets,GANs)在最近几年引起了广泛关注，应用于图像超分辨、图像的迁移、图像分割等等许多方面。

余英东在《结合纹理特征分析的图像风格转换网络》一文中，提出了一种结合图像纹理特征分析的前馈图像风格转换网络算法，通过训练具有感知损失函数的前馈残差网络来进行风格转换，利用输入图像的信息熵和不变矩特征分析，发现了输入图像的特征与输出效果之间的关系，从而实现了对网络的针对性改善。但是颜色、深度等特征信息之间的联系被割裂了，没有充分考虑到它们之间的关联性和互补性，测试灰度图像的时候容易出现伪彩色的错误信息；在提升图像对比度中，针对基于深度学习的方法来说，网络参数的更新主要来自训练数据，因此通常是需要大量的训练数据，而目前关于医学生物图像研究的数据集由于医院病患样本的保密性而数量有限，无法达到更高的预测精度。

发明内容

本发明的目的在于提供一种基于GSCGAN的图像灰度立体转换方法，解决了透明生物医学样本难以在普通显微镜下观察到清晰结构和细节的问题。

实现本发明的技术解决方案为：一种基于GSCGAN的图像灰度立体转换方法，其特征在于，包括以下步骤：

步骤1、利用科研级显微镜采集P个透明样本，分别获取明场模式、相衬模式以及微分干涉模式下对应的图像，共3P幅，P≥200；上述每幅图像像素大小为1000×1000，并将图像转化为灰度图像，分别对应构成明场模式图像集、相衬模式图像集以及微分干涉模式图像集；

步骤2、用相衬成像及微分干涉成像中的光线传播卷积公式代替传统GAN中的卷积传播运算来构建复值GAN，将两个复值GAN首尾相连形成一个循环结构，并在每一层输出图像后加入模式判别器D_m，获得初步GSCGAN模型；