[发明专利]基于对抗生成网络的多模态影像生成方法和装置

权利要求书

1.一种基于对抗生成网络的多模态影像生成方法，其特征在于，包括以下步骤：

获取同一目标的第一模态影像和第二模态影像，对第一模态影像进行增强得到两幅增强后模态影像，其中，同一目标的第一模态影像和第二模态影像通过以下方式预处理得到：对原始第一模态影像和原始第二模态影像进行滤波；对滤波后的原始第一模态影像和原始第二模态影像进行基于目标区域的刚性配准；对刚性配准后的原始第一模态影像和原始第二模态影像分别进行像素归一化；对像素归一化后的原始第一模态影像和原始第二模态影像进行目标选取，得到同一目标的第一模态影像和第二模态影像；

构建包括生成器和判别器的对抗生成网络，其中，生成器基于第一模态影像及其两幅增强后模态影像生成三幅预测第二模态影像，判别器对第二模态影像和第一模态影像对应的预测第二模态影像进行真伪区分判别，判别器还计算输出两幅增强后模态影像对应的两幅预测第二模态影像在判别器中间层的两幅中间特征图；

为判别器中间层输出的每幅中间特征图增加至少2层MLP，中间特征图经过MLP进行特征更新，更新后的中间特征图参与对比损失计算；

基于两幅中间特征图构建特征之间的对比损失，将对比损失结合对抗生成网络的原有损失对对抗生成网络进行参数优化，其中，基于两幅中间特征图构建特征之间的对比损失，包括：将两幅增强后模态影像对应的两幅预测第二模态影像在判别器相同中间层的两幅中间特征图作为正样本对；将两幅增强后模态影像对应的两幅预测第二模态影像在判别器不同中间层的两幅中间特征图作为负样本对；基于正样本对和负样本对构建对比损失；

提取参数优化的生成器用于多模态影像生成。

2.根据权利要求1所述的基于对抗生成网络的多模态影像生成方法，其特征在于，所述生成器采用pixel to pixel模型中生成器结构。

3.根据权利要求1所述的基于对抗生成网络的多模态影像生成方法，其特征在于，所述判别器采用马尔科夫判别器。

4.根据权利要求1所述的基于对抗生成网络的多模态影像生成方法，其特征在于，对抗生成网络的原始损失包括基于第一模态影像对应的预测第二模态影像和第二模态影像构建的L1损失，还包括生成器和判别器的对抗损失。

5.一种基于对抗生成网络的多模态影像生成装置，其特征在于，包括获取模块、网络构建模块、参数优化模块、影像生成模块，

所述获取模块用于获取同一目标的第一模态影像和第二模态影像，对第一模态影像进行增强得到两幅增强后模态影像，其中，同一目标的第一模态影像和第二模态影像通过以下方式预处理得到：对原始第一模态影像和原始第二模态影像进行滤波；对滤波后的原始第一模态影像和原始第二模态影像进行基于目标区域的刚性配准；对刚性配准后的原始第一模态影像和原始第二模态影像分别进行像素归一化；对像素归一化后的原始第一模态影像和原始第二模态影像进行目标选取，得到同一目标的第一模态影像和第二模态影像；

所述网络构建模块用于构建包括生成器和判别器的对抗生成网络，其中，生成器基于第一模态影像及其两幅增强后模态影像生成三幅预测第二模态影像，判别器对第二模态影像和第一模态影像对应的预测第二模态影像进行真伪区分判别，判断器还计算输出两幅增强后模态影像对应的两幅预测第二模态影像在判别器中间层的两幅中间特征图；

所述参数优化模块用于为判别器中间层输出的每幅中间特征图增加至少2层MLP，中间特征图经过MLP进行特征更新，更新后的中间特征图参与对比损失计算，基于两幅中间特征图构建特征之间的对比损失，将对比损失结合对抗生成网络的原有损失对对抗生成网络进行参数优化，其中，基于两幅中间特征图构建特征之间的对比损失，包括：将两幅增强后模态影像对应的两幅预测第二模态影像在判别器相同中间层的两幅中间特征图作为正样本对；将两幅增强后模态影像对应的两幅预测第二模态影像在判别器不同中间层的两幅中间特征图作为负样本对；基于正样本对和负样本对构建对比损失；

所述影像生成模块用于提取参数优化的生成器用于多模态影像生成。