[发明专利]一种基于合成超声图像的多模态图像配准方法

说明书

本发明提供一种基于合成超声图像的多模态图像配准方法，根据磁共振图像和真实超声图像，通过构建包括生成器和判别器的生成对抗网络，生成拟真的合成超声图像，并将拟真的合成超声图像和真实超声图像进行配准得到配准参数，将配准参数应用于磁共振图像，完成最终的磁共振图像和超声图像的配准融合。本方法能够实时从磁共振图像中合成超声图像，满足实时影像引导手术的要求；合成的拟真超声图像更接近于真实超声图像，图像质量更高，更好的保存了重要的细节信息；当磁共振图像包含肿瘤时，依然可以准确的合成拟真超声图像；最终的配准技术不需要很复杂的配准算法，只需要传统的简单的配准算法就可以达到很好的配准效果。

技术领域

本发明涉及多模态图像配准领域，具体涉及一种基于合成超声图像的多模态图像配准方法。

背景技术

超声图像和磁共振图像两种图像目前都广泛应用于各种医学病例的诊断，例如，检测头部中的梗塞和肿瘤，检测肝脏中的急性和慢性变化，以及应用于各种临床手术导航。肝脏的实时成像对于检测病变或者临床治疗是必不可少的，利用超声探头扫描成像能够满足实时成像的要求，并且超声成像为非侵入成像对人体伤害较小。然而超声图像相对于磁共振图像来说，其成像质量较低，而且磁共振图像能够提供更多的解剖细节信息从而更好的辅助诊疗。但磁共振图像只能术前进行采集，并且不能根据病人术中的实时位姿等变化进行实时的调整，所以临床手术过程中提供两种图像来同时进行辅助治疗可以达到更好的效果，因此在手术过程中进行两种图像的配准融合显示是十分必要的。

运用传统方法很难直接将磁共振图像直接配准到超声图像上，因为两种图像差异很大。通过磁共振图像来进行超声合成，并将合成超声和真实超声进行融合是配准融合技术中的一种途径，将两种不同模态的图像的配准转换为同一模态下的图像配准能够在减少配准的难度的同时提高配准的精度。

近年来，许多学者致力于超声图像的模拟研究中。这些研究主要包括模拟来自电子计算机断层扫描图像和磁共振图像的超声图像，以解决介入手术前不同模态图像的配准问题。为了模拟超声图像，采用基于超声物理学的模型，并使用线性组合的相关性测量线性相关来呈现自动图像配准算法，以使得两种不同模态的图像完成空间的对齐。但模拟超声图像需要耗费大量的时间，使得这种方法不能用于实时的手术导航系统，并且不能精确模拟肿瘤区域的信息，缺失肿瘤会导致切除前和切除后的图像配准不稳定。基于超声模拟的配准融合技术成为了研究的热点，并取得了一定的成果，但仍然存在以下几个方面的缺陷：三维的磁共振图像模拟成三维的超声图像需要耗费大量的时间，并不适用于实时的影像引导手术导航系统；当磁共振图像中包含肿瘤时，不能正确的模拟出来对应位置的肿瘤的超声图像。

因而，我们提出了基于深度学习的超声图像合成技术，并将该技术应用于多模态图像配准中来。基于磁共振图像合成超声图像的肝脏多模态影像配准技术必须满足以下条件：(1)磁共振图像实时合成超声图像；(2)能够合成包含肿瘤的超声图像。

鉴于此，克服以上现有技术中的缺陷，提供一种新的基于合成超声图像的多模态图像配准方法成为本领域亟待解决的技术问题。

发明内容

本发明的目的在于针对现有技术的上述缺陷，提供一种基于合成超声图像的多模态图像配准方法。

本发明的目的可通过以下的技术措施来实现：

本发明提供了一种基于合成超声图像的多模态图像配准方法，所述多模态图像配准方法包括：

S1，采集多个同一部位的三维磁共振图像以及与各三维磁共振图像对应的真实超声图像作为训练样本；

S2，构建生成对抗网络，所述生成对抗网络包含生成器和判别器；

S3，将采集的三维磁共振图像输入生成器以得到输出结果，并将生成器的所述输出结果与对应的真实超声图像输入至判别器，以对所述生成对抗网络进行训练，利用训练后的生成对抗网络中的生成器生成与三维磁共振图像的对应合成超声图像；