[发明专利]一种基于深度强化学习的3D/2D医学图像配准方法

摘要

本发明公开了一种基于深度强化学习的3D/2D医学图像配准方法，先获取2D和3D医学图像并进行预处理，得到多分辨率的参考图像和浮动图像；然后搭建深度强化学习网络，对术前待配准3D图像做特定方向投影，得到不同变换参数的DRR图像，再计算每幅DRR图像与2D参考图像的相似性测度，最后选出相似性测度值最高的DRR图像，最后利用深度强化学习网络对选出的DRR图像进行图像配准。

主权项

1.一种基于深度强化学习的3D/2D医学图像配准方法，其特征在于，包括以下步骤：(1)、获取2D和3D医学图像获取X射线图像作为配准过程的术中2D参考图像，获取医学CT作为配准过程的训练图像集和术前待配准3D图像；(2)、训练图像集预处理将训练图像集输入至X射线成像计算模型，再随机变换参数T_i＝(t_xi,t_yi,t_zi,r_xi,r_yi,r_zi)，通过该模型生成DRR图像，其中，i＝1,2,…,n；随机选取一部分DRR图像作为参考图像，另一部分作为浮动图像；(3)、修改参考图像和浮动图像的分辨率，得到分辨率为p₁的参考图像和分辨率为p₂的参考图像，以及分辨率为p₁的浮动图像和分辨率为p₂的浮动图像；(4)、搭建深度强化学习网络设深度强化学习网络的编码部分包含四条卷积路径L₁、L₂、L₃、L₄，L₁中输入分辨率为p₁的参考图像，L₂中输入分辨率为p₂的参考图像，L₃中输入分辨率为p₁的浮动图像，L₄中输入分辨率为p₂的浮动图像；设深度强化学习网络的解码部分为Dueling网络，通过全连接层连接编码部分，解码输出为12个沿着变换参数t_x、t_y、t_z、r_x、r_y、r_z的正向和负向运动的动作和12个对应的奖励Q值；(5)、术前待配准3D图像做特定方向投影对术前待配准3D图像做体数据的矢状面、冠状面、轴面以及六个对角面所对应的法线方向的特定投影，得到9幅具有不同变换参数T_i＝(t_xi,t_yi,t_zi,r_xi,r_yi,r_zi)的DRR图像，i＝1,2,…,9；(6)、计算相似性测度先对9幅DRR图像和2D参考图像进行进行去噪处理，然后分别计算每幅DRR图像与2D参考图像的相似性测度，最后选出相似性测度值最高的DRR图像；(7)、利用深度强化学习网络进行图像配准(7.1)、将选出的DRR图像与2D参考图像进行重采样，再将采样后的图像作为深度强化学习网络的输入参考图像和浮动图像；(7.2)、深度强化学习网络解码输出12个奖励Q值和对应的12个动作，然后选出奖励Q值中变化最大的一个，最后根据变化最大的奖励Q值及其对应的动作更新变换参数T_x，再根据更新后的变换参数T_x更新选出的DRR图像，并计算选出的DRR图像与2D参考图像的配准精度；(7.3)、重复步骤(7.1)‑(7.2)，当配准精度达到预期要求时，迭代停止，得到配准后的图像。