[发明专利]基于多尺度监督学习的超声和核磁图像配准方法及装置

说明书

基于多尺度监督学习的超声和核磁图像配准方法及装置，在测试阶段只输入超声和磁共振图像便可预测出由超声到磁共振的形变场，完成超声到磁共振的配准，无需传统算法的迭代，在速度和准确度上大幅度提升。包括：(1)采集多个病人的肝脏三维磁共振图像以及与之对应的超声图像作为训练样本，将重要的组织区域分割出来作为标签图像；(2)构建基于3DUnet的配准基本框架；(3)得到基于多尺度监督神经网络；(4)将对应的磁共振和超声图像刚性配准；将处理好的磁共振和超声图像作为两个通道输入神经网络中，以MIND相似性测度，分割标签损失及形变场平滑项三个损失函数对神经网络进行训练；(5)根据配准参数将磁共振和超声图像配准。

技术领域

本发明涉及医学图像处理的技术领域，尤其涉及一种基于多尺度监督学习的超声和核磁图像配准方法，以及基于多尺度监督学习的超声和核磁图像配准装置。

背景技术

肝癌以其高发病率、高死亡率的特点成为我国人民面临的重大疾病威胁之一。基于超声US(即，超声波扫描，ultrasound scan)实时引导的肝脏肿瘤消融手术，由于其具有成本低，创面小等优点而成为临床医学重点发展方向。然而超声图像相对于只能术前采集的磁共振MR(即，磁共振共像，Magnetic Resonance Imaging)图像而言，成像质量低，视野范围窄，难以提供全面的解剖细节信息。所以在临床手术过程中将两种图像进行配准融合来进行辅助治疗可以达到更好的治疗效果。因此超声以及磁共振图像的配准融合是必要的。

传统基于迭代的图像配准算法，往往根据形变后的浮动图像和固定图像之间的相似性测度差异，寻求最优解。这些相似性测度包括MI(互信息)，NMI(归一化互信息)，CC(相关系数)，NCC(归一化相关系数)等，以及后来一些学者提出的基于图像灰度梯度的MIND(模态独立的邻域描述子)在超声和磁共振图像配准中取得了一定的进展。但由于超声和磁共振图像之间巨大的差异以及肝脏部位因呼吸和位姿造成的大形变，传统算法很难得到满意的结果，并且常常会因陷入局部最优而得到不满意的结果。

近些年来，由于深度学习可以通过图像的表观差异与形变场之间的对应关系从而学习到配准所需的形变场参数，已经逐渐应用到多模态图像配准中来。基于深度学习的配准方法主要包括：以传统算法得到形变场作为金标准来训练配准网络；或者以已知相似性测度作为神经网络的损失函数，无需金标准。

这些网络一经训练完成，在测试阶段不用经过繁重的迭代过程就可以得到配准结果，加快了配准的速度，但由于它们用的都是既有的传统相似性测度，难以应用到超声到磁共振图像的多模态图像配准。

最近一些学者提出以超声和磁共振图像中的重要器官或血管等管状结构的分割标签的重叠率作为多尺度监督学习金标准来训练配准网络，成功的将超声前列腺的超声磁共振图像配准到其对应的磁共振图像。但仍存在以下问题：

1.人工标注标签，无法避免误差。

2.人工标签是稀疏的，有些区域无法进行有效的监督。

发明内容

为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于多尺度监督学习的超声和核磁图像配准方法，其在测试阶段只需要输入对应的超声和磁共振图像便可以直接预测出由超声图像到磁共振图像的形变场，完成超声到磁共振图像的配准过程，无需传统算法的迭代过程，在速度和准确度上都可以得到大幅度的提升。

本发明的技术方案是：这种基于多尺度监督学习的超声和核磁图像配准方法，其包括以下步骤：

(1)采集多个病人的肝脏三维磁共振图像以及与各三维磁共振图像对应的超声图像作为训练样本，将超声图像及磁共振图像中重要的组织区域分别分割出来，作为标签图像，重要的组织区域包括肝脏大血管和下腔静脉；

(2)构建基于3DUnet的配准基本框架；

(3)对3DUnet进一步优化，得到基于多尺度监督神经网络；