[发明专利]基于对抗生成网络的多模态影像生成方法和装置

说明书

本发明公开了一种基于对抗生成网络的多模态影像生成方法和装置，包括：获取同一目标的第一模态影像和第二模态影像，对第一模态影像进行增强得到两幅增强后模态影像；构建包括生成器和判别器的对抗生成网络，其中，生成器基于第一模态影像及其两幅增强后模态影像生成三幅预测第二模态影像，判别器对第二模态影像和第一模态影像对应的预测第二模态影像进行真伪区分判别，判别器还计算输出两幅增强后模态影像对应的两幅预测第二模态影像在判别器中间层的两幅中间特征图；基于两幅中间特征图构建特征之间的对比损失，将对比损失结合对抗生成网络的原有损失对对抗生成网络进行参数优化，提取参数优化的生成器用于多模态影像生成，以提高影像精度。

技术领域

本发明属于医学影像跨模态生成技术领域，具体涉及一种基于对抗生成网络的多模态影像生成方法和装置。

背景技术

医学成像是一种强大的诊断和研究工具，可创建解剖结构的视觉表示，已广泛用于疾病诊断和手术计划。在目前的临床实践中，最常用的是计算机断层扫描(CT)和磁共振成像(MRI)。由于CT和多种MR成像模式提供了互补信息，因此这些不同模式的有效整合可以帮助医生做出更明智的决定。由于很难获得成对的多模态图像，临床实践中，开发多模态图像生成以辅助临床诊断和治疗的需求日益增长。

医学影像生成分为传统的机器学习方法和深度学习方法。传统的机器学习方法依赖于显式特征表示。如随机森林，k邻近算法等，通过迭代的方法显式的优化特征表示。最近，卷积神经网络被广泛的应用于多种图像生成任务并且通过对抗生成网络实现了最先进的性能。

目前主流的基于对抗生成网络的模型，在提升判别器时，它们通过：梯度惩罚，光谱归一化，对比学习，一致性正则化等方法隐式或显式地正则化判别器。

例如公开号为CN112465118A的专利申请公开了一种面向医学影像生成的低秩生成式对抗网络构建方法，包括以下步骤：1)利用主成分模式近似GAN模型中的全秩卷积操作，基于张量CP分解的计算规则构建低秩卷积操作；2)利用步骤1)的低秩卷积操作，构建低秩维度卷积层和低秩通道卷积层代替全秩卷积层，在低秩卷积层间添加ReLU激活函数和批正则化项，调整低秩卷积层的数据分布，设计低秩生成模型；3)融合低秩生成模型和全秩判别模型，构建完整的医学影像低秩生成式对抗网络。

再例如公开号为的专利申请CN113205567A公开了一种基于深度学习的MRI影像合成CT影像的方法，包括以下步骤：S1，选取原始MRI影像作和原始CT影像分别作为浮动影像以及和参考影像，而后进行N4偏置校正和标准化获得预处理后的MRI及CT影像；S2，采用预处理MRI影像和预处理CT影像训练用于MRI影像合成CT影像的对抗式生成网络模型；S3，将预处理MRI影像输入MRI影像合成CT影像的对抗式生成网络模型，从而将预处理MRI影像转换为合成CT影像。

以上两篇专利申请等现有技术公开的技术方案中，通常作用于判别器最后输出的高度任务相关的特征，而往往忽略了中间层的浅层特征，比如：颜色，纹理等，因此图像合成精度还有待提高。

发明内容

鉴于上述，本发明的目的是提供一种基于对抗生成网络的多模态影像生成方法和装置，通过基于对抗生成网络中判别器浅层特征的对比学习，提升判别器对图片风格信息的敏感度，进而提升多模态影像生成精度。

为实现上述发明目的，本发明实施例提供的一种基于对抗生成网络的多模态影像生成方法，包括以下步骤：

获取同一目标的第一模态影像和第二模态影像，对第一模态影像进行增强得到两幅增强后模态影像；

构建包括生成器和判别器的对抗生成网络，其中，生成器基于第一模态影像及其两幅增强后模态影像生成三幅预测第二模态影像，判别器对第二模态影像和第一模态影像对应的预测第二模态影像进行真伪区分判别，判别器还计算输出两幅增强后模态影像对应的两幅预测第二模态影像在判别器中间层的两幅中间特征图；