[发明专利]基于骨骼特征的三维/二维图像配准方法及装置

说明书

基于骨骼特征的三维/二维图像配准方法及装置，占用资源小、可用于反向传播优化配准参数，解决了三维/二维配准过程中图像相似性函数非凸非凹的问题，增大了配准初值范围，实现TIPS术中三维/二维骨骼特征的配准,提升配准精度。方法包括：(1)对分割的三维骨骼数据进行预处理；(2)生成大量的模拟数据用于后续的训练和测试；(3)三维数据经过三维卷积网络跳连接模块的处理，得到参数化的三维特征数据，通过基于网格采样的可微分渲染模块将叠加后的原图和三维特征数据投影到二维；(4)使用二维解码网络计算其与目标图像的相似性测度；为使相似性测度在欧式空间中具有凹函数的性质，使用刚性变换参数的测地线距离的梯度作为训练目标。

技术领域

本发明涉及医学图像处理的技术领域，尤其涉及一种基于骨骼特征的三维/二维图像配准方法，以及基于骨骼特征的三维/二维图像配准装置。

背景技术

在三维/二维配准领域，传统配准方法的迭代过程中，需要反复进行重新投影和计算相似性测度，这样会导致计算资源过多而不便于网络模型进行参数的迭代优化。并且，在解决跨模态问题上，相似性测度由于多极值问题的存在而具有很大的局限性。

发明内容

为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于骨骼特征的三维/二维图像配准方法，其占用资源小、可用于反向传播优化配准参数，解决了三维/二维配准过程中图像相似性函数非凸非凹的问题，增大了配准初值范围，实现TIPS术中三维/二维骨骼特征的配准,对于提升配准精度具有有效作用。

本发明的技术方案是：这种基于骨骼特征的三维/二维图像配准方法，其包括以下步骤：

(1)对分割的三维骨骼数据进行预处理，包括感兴趣区域裁剪和降采样；

(2)对处理后的TIPS术前CT骨骼数据进行随机的平移和旋转，得到不同的初始位姿，接着对其再次进行随机的平移和旋转，得到目标位姿；将两个位姿的TIPS术前CT数据进行投影，生成大量的模拟数据用于后续的训练和测试；

(3)在训练阶段，三维数据首先经过三维卷积网络跳连接模块的处理，得到参数化的三维特征数据，然后通过基于网格采样的可微分渲染模块将叠加后的原图和三维特征数据投影到二维；

(4)根据投影得到的二维图像，使用二维解码网络计算其与目标图像的相似性测度；为使网络训练得到的相似性测度在欧式空间中具有凹函数的性质，使用刚性变换参数的测地线距离的梯度作为训练目标。

本发明首先搭建了传统的三维/二维的配准框架；然后构建了基于网格采样的可微分渲染模块，该模块占用资源小、可用于反向传播优化配准参数，代替了配准算法中每一次迭代过程的体数据刚性变换和重新投影；最后，在凹函数相似性测度模型的训练阶段，以测地线距离作为目标，解决了三维/二维配准过程中图像相似性函数非凸非凹的问题，增大了配准初值范围，实现TIPS术中三维/二维骨骼特征的配准,对于提升配准精度具有有效作用。

还提供了基于骨骼特征的三维/二维图像配准装置，其包括：

数据预处理模块，其配置来对分割的三维骨骼数据进行预处理，包括感兴趣区域裁剪和降采样；

模拟数据生成模块，其配置来对处理后的TIPS术前CT骨骼数据进行随机的平移和旋转，得到不同的初始位姿，接着对其再次进行随机的平移和旋转，得到目标位姿；将两个位姿的TIPS术前CT数据进行投影，生成大量的模拟数据用于后续的训练和测试；

训练模块，其配置来在训练阶段，三维数据首先经过三维卷积网络跳连接模块的处理，得到参数化的三维特征数据，然后通过基于网格采样的可微分渲染模块将叠加后的原图和三维特征数据投影到二维；

相似性测度计算模块，其配准来根据投影得到的二维图像，使用二维解码网络计算其与目标图像的相似性测度；为使网络训练得到的相似性测度在欧式空间中具有凹函数的性质，使用刚性变换参数的测地线距离的梯度作为训练目标。