[发明专利]用于食管光学相干层析图像生成的方法及系统

说明书

本发明公开了一种用于食管光学相干层析图像生成的方法及系统，该方法包括以下步骤：1)采集食管OCT图像并进行预处理，作为训练样本；2)构建对抗变分自编码网络模型V，该网络模型V包括编码器E和生成器G；3)对抗变分自编码网络模型V进行训练，训练过程中，编码器E和生成器G的优化过程交替进行，收敛后，得到最终的对抗变分自编码网络模型V'；4)利用训练后得到的抗变分自编码网络模型V'产生虚拟的食管OCT图像。本发明能够生成接近真实图像的虚拟食管OCT图像，其中，编码器同时承担判别和编码两种任务，能简化网络结构，从而使得网络的训练更为高效；本发明能够得到优于PGGAN模型的食管OCT图像生成结果。

技术领域

本发明涉及医学图像处理领域，特别涉及一种用于食管光学相干层析图像生成的方法及系统。

背景技术

光学相干层析成像(Optical Coherence Tomography,OCT)是一种相对较新的无创成像方式。通过结合内窥镜探头，OCT设备可以进入上消化道，并在显微镜下提供生物组织的高分辨图像。受益于此，内窥OCT设备能够可视化食管病变引起的形态学变化，并用于食管疾病诊断。OCT图像中的健康食管壁具有清晰可见的层状组织，而对于有病变的患者，则可能出现结构异常。因此，食管组织的自动分析在食管疾病的诊断中起着重要作用，近年来受到越来越多的关注。

近年来，深度学习已在医学成像领域得到广泛应用。在食管OCT图像处理中，也有研究表明深度学习方法能够更好的分析数据，比如获得更精确的分割结果。充足的数据量是深度学习模型充分训练的必要条件，一般通过数据增强技术来实现。然而，传统的数据增强技术(例如，裁剪、旋转、弹性变形)所产生的数据彼此高度相关，难以真正保证数据的多样性。此外，这些方法都是在整个图像层面上进行处理，这导致增强图像丢失了输入的全局拓扑信息，从而导致所生成的样本包含不合理的特征。

数据扩充的另一种方式是采用具有特定结构的深度神经网络。其中，最具代表性的方法是变分自编码器(variational autoencoder，VAE)(D.P.Kingma and M.Welling,“Auto-encoding variational bayes,”in International Conference on LearningRepresentations(Iclr),2014.)以及生成对抗网络(generative adversarial networks，GAN)(I.J.Goodfellow,J.Pouget-Abadie,M.Mirza,B.Xu,D.Warde-Farley,S.Ozair,A.Courville,and Y.Bengio,“Generative adversarial nets,”Advances in NeuralInformation Processing Sys-tems 27(Nips 2014),vol.27,pp.2672–2680,2014.)。这两种模型应用广泛，但依然具有一定的局限性。VAE易于训练，但会产生缺乏细节的模糊图像。GAN能够获得更高的图像质量，但在训练稳定性和模式崩溃方面面临挑战。针对GAN所存在的问题，研究者提出了多种解决方案来应对这些挑战。一种常用的方法是从粗到精的生成策略，即从低分辨率图像生成开始，逐渐提高图像质量。代表性模型为PGGAN(T.Karras,T.Aila,S.Laine,and J.Lehtinen,“Progressive growing of gans for improvedquality,stability,and variation,”in International Conference on LearningRepresentations(Iclr),2018.)。然而，这种改进极大增加了计算负担。此外，还有研究提出了结合VAE和GAN的混合模型使网络容易训练且具备相对较高的图像生成能力。VAEGAN是混合模型的典型案例(A.B.L.Larsen,S.K.and O.Winther,“Autoencodingbeyond pixels using a learned similarity metric,”CoRR,vol.abs/1512.09300,2015.[Online].Available:http://arxiv.org/abs/1512.09300.)，然而，混合模型通常包含编码器，解码器以及判别器三个网络，结构较为复杂，且所生成的图像质量常常不及GAN。