[发明专利]一种基于合成超声图像的多模态图像配准方法

权利要求书

1.一种基于合成超声图像的多模态图像配准方法，其特征在于，所述多模态图像配准方法包括：

S1，采集多个同一部位的三维磁共振图像以及与各三维磁共振图像对应的真实超声图像作为训练样本；

S2，构建生成对抗网络，所述生成对抗网络包含生成器和判别器；

S3，将采集的三维磁共振图像输入生成器以得到输出结果，并将生成器的所述输出结果与对应的真实超声图像输入至判别器，以对所述生成对抗网络进行训练，利用训练后的生成对抗网络中的生成器生成与三维磁共振图像的对应合成超声图像；

S4，将所述合成超声图像与三维磁共振图像对应的真实超声图像进行配准融合，以获取配准参数，根据所述配准参数将所述三维磁共振图像和所述真实超声图像进行配准；

所述步骤S4包括：

利用金字塔算法，将金字塔设为多层，每层对应一个尺度，分别分层对所述合成超声图像与所述真实超声图像进行采样；

从最下一层开始，初始化形变参数，将形变参数叠加于所述真实超声图像上，在同一层对应的尺度下来进行所述合成超声图像与所述真实超声图像的相似性测度和形变场的计算；

将计算得到的形变场叠加到金字塔上一层，作为该层形变参数，继续进行该层的所述合成超声图像与所述真实超声图像的相似性测度和最优化形变计算，直到金字塔的最后一层，得到配准参数；

将所述合成超声图像与所述真实超声图像配准得到的所述配准参数直接应用于所述三维磁共振图像，所述三维磁共振图像经过所述配准参数变换后与所述真实超声图像完成配准融合，其中，所述配准参数包括每一层金字塔的最优形变场。

2.根据权利要求1所述的基于合成超声图像的多模态图像配准方法，其特征在于，在步骤S3中，“对所述生成对抗网络进行训练”的步骤包括：

根据生成器的输出结果及对应的真实超声图像得到所述生成器的L1损失函数；

基于所述生成对抗网络中所述生成器和判别器的最小二乘损失函数，根据所述判别器的输出结果以及真实超声图像的L1损失函数得到生成器的总体损失函数，根据所述判别器的输出结果得到所述判别器的总体损失函数；

根据所述判别器的总体损失函数以及所述生成器的总体损失函数，分别更新所述判别器以及生成器的网络结构中的参数，直至生成对抗网络收敛。

3.根据权利要求2所述的基于合成超声图像的多模态图像配准方法，其特征在于，在步骤S3中，“对所述生成对抗网络进行训练”的步骤还包括：

为所述生成器和所述判别器设置不同的学习率。

4.根据权利要求3所述的基于合成超声图像的多模态图像配准方法，其特征在于，所述判别器包括局部判别器和全局判别器，所述局部判别器包括第一局部判别器和第二局部判别器。

5.根据权利要求4所述的基于合成超声图像的多模态图像配准方法，其特征在于，所述L1损失函数定义为其中，I_MR表示磁共振图像，G(I_MR)表示合成超声图像，I_US为输入的真实超声图像，p(I_US)为真实超声数据分布，p(I_MR)为磁共振数据分布；

所述生成器的最小二乘损失函数为

所述判别器的最小二乘损失函数为

其中，I_MR表示磁共振图像，G(I_MR)表示合成超声图像，I_US为输入的真实超声图像，a和b分别为生成数据和真实数据的标签，c表示生成器和判别器认为的假的数据的标签；

设置a＝0，b＝c＝1，带入上述公式中，即可得所述生成器的总体损失函数为：

所述判别器的总体损失函数为

6.根据权利要求1所述的基于合成超声图像的多模态图像配准方法，其特征在于，所述“相似性测度”的计算步骤包括：利用邻域描述算子MIND对同一层所述合成超声图像与所述真实超声图像结构进行表征，然后利用表征结果的差值平方和SSD作为配准测度来得到两幅图像的相似性测度。