[发明专利]一种基于深度强化学习的3D/2D医学图像配准方法

说明书

本发明公开了一种基于深度强化学习的3D/2D医学图像配准方法，先获取2D和3D医学图像并进行预处理，得到多分辨率的参考图像和浮动图像；然后搭建深度强化学习网络，对术前待配准3D图像做特定方向投影，得到不同变换参数的DRR图像，再计算每幅DRR图像与2D参考图像的相似性测度，最后选出相似性测度值最高的DRR图像，最后利用深度强化学习网络对选出的DRR图像进行图像配准。

技术领域

本发明属于图像配准技术领域，更为具体地讲，涉及一种基于深度强化学习的3D/2D医学图像配准方法。

背景技术

临床手术中的影像导航手术通常需要在术前获取3D人体病灶图像帮助医生了解病人病情和制定手术规划，同时还需要在术中获取2D人体图像一边引导医生在手术中实现跟踪和校正手术器械相对病人病灶的空间位置，手术的关键就在于准确的建立术前3D图像和术中2D图像之间的空间位置关系，即配准术前3D图像和术中2D图像。

目前的配准方法可分为基于灰度的方法、基于特征的方法和基于深度学习的方法。基于特征的配准方法又可分为基于外部特征和基于内部特征，基于外部特征通过在患者体内植入特异成像性质的植入物后进行医学成像，通过距离函数量化待配准图像中植入特征信息之间的相似性，该方法直接将标记物植入患者体内会造成患者机体损伤，配准结果有一定误差；基于内部特征选取图像内部的解剖纹理特征替代外部侵入物特征，该方法需要对图像进行景区分割和特征提取，图像配准的精度在很大程度上取决于特征信息的提取精度。总的来说，基于特征的配准忽略了大量的图像信息，导致配准精度低，且需要人工干预。基于灰度的配准算法利用相似性测度量化投影生成的2D图像与术中2D图像的相似性程度，并以优化算法迭代地搜索最优的相似性测度值表示图像到达的最佳配准状态，即最优空间变换参数，更多灰度信息的使用意味着更多的处理数据，计算复杂，配准时间较长，实时性差。Shun Miao提出使用深度回归网络直接预测2D/3D配准变换参数，但预处理步骤复杂，网络结构冗长，需要大量数据，并且端到端直接预测变换参数不利于保证配准精度。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于深度强化学习的3D/2D医学图像配准方法，通过多分辨率的深度强化学习网络来进行图像配准，从而提高配准精度。

为实现上述发明目的，本发明一种基于深度强化学习的3D/2D医学图像配准方法，其特征在于，包括以下步骤：

(1)、获取2D和3D医学图像

获取X射线图像作为配准过程的术中2D参考图像，获取医学CT作为配准过程的训练图像集和术前待配准3D图像；

(2)、训练图像集预处理

将训练图像集输入至X射线成像计算模型，再随机变换参数T_i＝(t_xi,t_yi,t_zi,r_xi,r_yi,r_zi)，通过该模型生成DRR图像，其中，i＝1,2,…,n，n为DRR图像个数；

随机选取一部分DRR图像作为参考图像，另一部分作为浮动图像；

(3)、修改参考图像和浮动图像的分辨率，得到分辨率为p₁的参考图像和分辨率为p₂的参考图像，以及分辨率为p₁的浮动图像和分辨率为p₂的浮动图像；

(4)、搭建深度强化学习网络