[发明专利]跨模态医学图像合成方法、系统、终端及存储介质

说明书

本发明涉及一种跨模态医学图像合成方法、系统、终端及存储介质。该方法包括构建包含生成器和判别器的生成对抗网络模型；其中，生成器以真实的第一模态医学图像为输入，学习真实的第一模态医学图像与真实的第二模态医学图像之间的特征映射关系，并依照该特征映射关系生成合成的第二模态医学图像，再将所述合成的第二模态医学图像和真实的第二模态医学图像分别与所述真实的第一模态医学图像进行拼接，以输出第一图像对和第二图像对；判别器以所述第一图像对和第二图像对为输入，分别对其进行真假判别，并输出真假判别结果；为生成器和判别器分别构造不同的损失函数，以对所述生成对抗网络模型进行图像合成训练。本方法可生成高可靠性的多模态数据。

技术领域

本申请属于医学图像处理技术领域，特别涉及一种跨模态医学图像合成方法、系统、终端及存储介质。

背景技术

随着科学技术的发展，医学图像的获取方式多种多样，不同模态的医学图像具有不同的优点和缺点。例如，磁共振成像(Magnetic Resonance Imaging,MRI)对人体没有辐射，软组织结构显示清晰，能够获得丰富的诊断信息，但采集时间较长，容易产生伪影；正电子发射型计算机断层扫描(Positron Emission Computed Tomography,PET)能够通过病变区域组织功能性的改变对疾病做出早期诊断，但价格昂贵，影像分辨率低。经研究表明，人体因疾病引起的形态或功能异常往往表现在各个方面，单一模态成像设备获取的信息往往无法全面反映疾病的复杂特征。而临床上同时采集不同模态的医学图像需要大量的时间和财力。因此，如何利用现有模态的医学图像，通过计算机技术精准地合成所需模态的影像是近几年的研究方向。

虽然现有跨模态合成方法都取得了不错的效果，但由于医学图像空间结构复杂，这些合成结果仍不能很好地表示人体组织的边缘信息，存在信噪比低、边缘模糊等问题。使得在成对数据有限的情况下特定受试者多模态影像的合成效果降低。

因此，如何在成对数据有限的情况下提高特定受试者多模态影像的合成效果是亟需解决的问题。

发明内容

基于此，有必要针对上述问题，提供一种跨模态医学图像合成方法，包括：

构建包含生成器和判别器的生成对抗网络模型；其中，所述生成器以真实的第一模态医学图像为输入，学习所述真实的第一模态医学图像与真实的第二模态医学图像之间的特征映射关系，并依照该特征映射关系生成合成的第二模态医学图像，再将所述合成的第二模态医学图像和真实的第二模态医学图像分别与所述真实的第一模态医学图像进行拼接，以输出第一图像对和第二图像对；

所述判别器以所述第一图像对和第二图像对为输入，分别对其进行真假判别，并输出真假判别结果；以及

为所述生成器和所述判别器分别构造不同的损失函数，以对所述生成对抗网络模型进行图像合成训练。

上述跨模态医学图像合成方法，通过先构建包含生成器和判别器的生成对抗网络模型，然后控制生成器对第一模态医学图像与第二模态医学图像之间的特征映射关系，并依照该特征映射关系生成合成的第二模态医学图像，再将所述合成的第二模态医学图像和真实的第二模态医学图像分别与所述真实的第一模态医学图像进行拼接，以输出第一图像对和第二图像对；一方面，可增加成对数据，使得合成效果更佳；另一方面，由于生成的合成的第二模态医学图像是依照特征映射关系得到，同时，该第一图像对和第二图像对还透过判别器进行真假判别，再为生成器和判别器分别构造不同的损失函数，以对生成对抗模型进行图像合成训练，所以，可使得最终获得结果更加可靠。也即是说，本申请的合成方法基于3D CGAN构建，可以充分利用多模态医学图像的空间结构信息生成高可靠性的多模态数据，以解决现有合成结果不能很好地表示人体组织的边缘信息，存在信噪比低、边缘模糊等问题。

在一个可能的实施例中，所述生成器采用U-Net网络结构，其包括网络结构对称的编码器和解码器；

所述合成的第二模态医学图像的生成步骤包括：