[发明专利]跨模态医学图像合成方法、系统、终端及存储介质

权利要求书

1.一种跨模态医学图像合成方法，其特征在于，包括：

构建包含生成器和判别器的生成对抗网络模型；其中，所述生成器以真实的第一模态医学图像为输入，学习所述真实的第一模态医学图像与真实的第二模态医学图像之间的特征映射关系，并依照该特征映射关系生成合成的第二模态医学图像，再将所述合成的第二模态医学图像和真实的第二模态医学图像分别与所述真实的第一模态医学图像进行拼接，以输出第一图像对和第二图像对；

所述判别器以所述第一图像对和第二图像对为输入，分别对其进行真假判别，并输出真假判别结果；以及

为所述生成器和所述判别器分别构造不同的损失函数，以对所述生成对抗网络模型进行图像合成训练。

2.根据权利要求1所述的跨模态医学图像合成方法，其特征在于，所述生成器采用U-Net网络结构，其包括网络结构对称的编码器和解码器；

所述合成的第二模态医学图像的生成步骤包括：

通过所述编码器多层卷积的特征提取运算，输出真实的第一模态医学图像的特征图；

所述解码器对编码器输出的特征图进行多层反卷积运算，并将产生的特征图与编码器对应位置相同大小的特征图进行多次拼接操作，最终输出目标重构图像，即为合成的第二模态医学图像。

3.根据权利要求2所述的跨模态医学图像合成方法，其特征在于，还包括：

将所述特征图中的每个像素作为一个随机变量，计算各像素之间的配对协方差；

根据计算出的配对协方差选择性地增强或减弱每个像素的值。

4.根据权利要求2所述的跨模态医学图像合成方法，其特征在于，所述编码器包括卷积模块层，批归一化层和激活层；

其中，所述卷积模块层的数量为七个，且所述卷积模块层中的第二至第五个为混合膨胀卷积模块层，其余为全卷积层。

5.根据权利要求4所述的跨模态医学图像合成方法，其特征在于，所述混合膨胀卷积模块层包括6个3×3×3的3D卷积层，各3D卷积层的膨胀率设置为锯齿状结构；

各所述卷积层分别记为卷积层1、卷积层2、卷积层3、卷积层4、卷积层5和卷积层6；其中，卷积层1和卷积层3、卷积层2和卷积层5、卷积层4和卷积层6之间分别通过残差结构连接；

所述卷积层1、卷积层2、卷积层3、卷积层4、卷积层5和卷积层6的膨胀率分别为1、2、5、1、2、5。

6.根据权利要求1所述的跨模态医学图像合成方法，其特征在于，所述判别器包括6个卷积层，批归一化层和激活层；其中，各所述卷积层分别记为卷积层1、卷积层2、卷积层3、卷积层4、卷积层5和卷积层6；其中，卷积层1和卷积层4、卷积层2和卷积层6之间分别通过残差结构连接。

7.根据权利要求1-6任一项所述的跨模态医学图像合成方法，其特征在于，所述真实的第一模态医学图像包括CT图像或MRI图像；所述合成的第二模态医学图像包括SPECT图像或PET图像。

8.根据权利要求1-6任一项所述的跨模态医学图像合成方法，其特征在于，所述生成器的损失函数MAE设置为：

其中，m为模型批量大小,y_i为真实值，为预测值。

9.根据权利要求1-6任一项所述的跨模态医学图像合成方法，其特征在于，所述判别器的损失函数MSE设置为：

其中，m为模型批量大小,y_i为真实值，为预测值。