[发明专利]一种模态合成与增强的弱监督医学图像融合方法

说明书

本发明属于图像融合技术领域，具体涉及一种模态合成与增强的弱监督医学图像融合方法。针对多模态图像融合需要患者多次成像造成的对人体伤害和花费大、图像融合需配准大量成对数据集，时间长、难度大以及融合图像纹理及精细结构不够清晰的问题，本发明提出了基于CycleGAN与OctopusNet的模态合成与增强的弱监督医学图像融合方法，该方法由模态合成、图像增强与图像融合三部分组成。

技术领域

本发明属于图像融合技术领域，具体涉及一种模态合成与增强的弱监督医学图像融合方法。

背景技术

随着医学成像的不断发展，医学图像成为了疾病诊断的有效工具。如今医学图像有多种模态，如磁共振(MR)图像、计算机断层扫描(CT)图像、正电子发射断层扫描(PET)图像等，且不同的模态均有其自身的优点和局限性。例如，CT图像能很好地显示骨骼信息，但是不能清晰地表征软组织等结构信息；MR图像能充分显示软组织信息，但其对骨骼信息的表征有很大缺陷；PET图像可为临床提供丰富的人体代谢信息，但分辨率较低。因此，将来自CT、MR、PET三模态的图像信息整合到一个图像中，完成多模态图像融合，可以实现优势互补。多模态融合图像既保留了原始图像的特征，又弥补了单模态医学图像的缺陷，展示了丰富的细节信息，为临床诊断治疗提供了有效的依据。

近年来，深度学习以其强大的特征提取能力在模态合成、图像融合、图像分割等图像处理领域得到了广泛的应用，并取得了良好的结果。其中，卷积神经网络(CNN)作为深度学习的代表方法，在图像融合领域发挥着越来越重要的作用。生成对抗网络(GAN)同样作为一种深度学习方法，通过生成模块与鉴别模块的相互博弈产生输出，这种相互博弈的过程提高了图像特征提取的准确性，使融合图像保留更多源图像信息。但以上方法均为有监督训练方式，在网络训练过程中需要大量配准好的成对数据集进行模型训练，然而在图像配准过程中需花费大量时间及人力成本。

另外，在实际医学诊断过程中，获取多模态融合图像需要患者进行多次医学成像拍摄。但医学成像拍摄中产生的高辐射，会对人体造成危害，且医学成像价格高，患者需要大量花费。所以从实际角度出发，引入一种既能降低医学成像对人体的危害，又能减少花费的多模态医学图像融合方法非常必要。模态合成作为一种图像处理技术，可以完成由单一模态图像合成为另一模态图像。CT、MR图像作为常见的模态，含有丰富的特征信息，将具有较多纹理细节信息的MR图像合成细节信息较少的CT图像比由CT图像合成为MR图像能保留更多图像信息。因此引入模态合成作为图像融合的基础，减少图像融合过程中输入图像的模态，可以减少病人的成像次数，降低医学图像对人体的危害，节省患者的医疗费用。

在现有基于深度学习的图像融合方法中，如Li等人提出了基于CNN的DenseFuse融合方法与Zhang等人提出的IFCNN融合方法均具有良好的特征融合能力，但以上两种方法特征提取过程准确性不高，缺乏对医学图像纹理细节信息的针对性。Zhou等人提出了一种基于GAN网络的Hi-Net混合融合网络，有效提高了图像的融合性能，但对精细结构的表征仍不够清晰。

随着近年来生成对抗网络的兴起，其在模态合成领域中也取得了显著成果。Nie等人提出了基于GAN网络的单一生成器与鉴别器的模态合成方法，通过对抗性学习生成逼真的合成图像，合成图像与目标预测图像相比虽具有良好的结构特征，但是图像细节模糊，未能良好地表征图像纹理细节。Wang等人为了使合成图像保留更多细节特征，提出了一种基于自动上下文的GAN网络合成方法，利用自动上下文方式从源图像中提取更多图像特征，使关键信息在合成图像中得以加强，但合成图像对纹理细节信息和精细结构表征的清晰度仍有待提高。Zhu等人提出了使用双生成器与双鉴别器基于无监督的循环一致性生成对抗网络(CycleGAN)，使合成图像对细节信息表征的清晰度显著提高，但对精细结构的表征仍不够清晰。Jiang等人提出了一种双生成器结构(全局-局部生成器)模态合成网络，两生成器分别用于学习与呈现全局信息即图像结构信息，以及用于细节即图像纹理和精细结构的增强，使合成图像在全局结构表征完整的同时还增强了图像细节，但其对纹理细节与精细结构的表征具有不稳定性。