[发明专利]基于骨骼特征的三维/二维图像配准方法及装置

权利要求书

1.基于骨骼特征的三维/二维图像配准方法，其特征在于：其包括以下步骤：

(1)对分割的三维骨骼数据进行预处理，包括感兴趣区域裁剪和降采样；

(2)对处理后的TIPS术前CT骨骼数据进行随机的平移和旋转，得到不同的初始位姿，接着对其再次进行随机的平移和旋转，得到目标位姿；将两个位姿的TIPS术前CT数据进行投影，生成大量的模拟数据用于后续的训练和测试；

(3)在训练阶段，三维数据首先经过三维卷积网络跳连接模块的处理，得到参数化的三维特征数据，然后通过基于网格采样的可微分渲染模块将叠加后的原图和三维特征数据投影到二维；

(4)根据投影得到的二维图像，使用二维解码网络计算其与目标图像的相似性测度；为使网络训练得到的相似性测度在欧式空间中具有凹函数的性质，使用刚性变换参数的测地线距离的梯度作为训练目标；

所述步骤(4)中，包括两个三维/二维配准框架：

(I)测试数据通过包含有可微分渲染模块的凹函数相似性测度进行迭代优化，以求得目标图像对应的刚性变换参数；

(II)使用三维/二维配准优化器进行优化，实现了传统的无参数化配准框架；

所述步骤(3)中，

对于投影到二维的图像用公式(4.1)表示：

I_m＝P·T(θ_x，θ_y，θ_z，t_x，t_y，t_z)·V_m        (4.1)

其中V_m是三维体数据，I_m是对应的投影到二维的图像，其中T(α)，α∈SE(3)是三维的刚性变换矩阵，公式为(4.2)-(4.5)，P为3×4的点源投影矩阵的表达式，α＝(θ_x，θ_y，θ_z，t_x，t_y，t_z)指代所求的刚性变换参数

其中θ_x，θ_y，θ_z分别为绕x坐标轴、y坐标轴、z坐标轴的旋转角度，t_x，t_y，t_z为沿三个坐标轴平移的大小，x₀，y₀，z₀是V_m上的像素点的坐标，x，y，z是x₀，y₀，z₀经过刚性变换后的点的坐标；

所述步骤(3)中，

衡量I_f和I_m之间的相似性测度，其代表的损失函数为公式(4.6)

其中，p″_CT代表将三维的数据投影到二维的相机内参矩阵，梯度差分GD和归一化互相关系数NCC都是传统配准方法常用的相似性测度函数；

梯度差分是根据图像I_m和I_f的梯度进行计算相似度适合处理较为狭长的结构，为公式(4.7)、(4.8)和(4.9)

Diff_width和Diff_high分别代表两幅图像在竖直方向和水平方向的梯度的差，表示图像I在竖直方向的梯度，表示在水平方向的梯度，s为一个灰度尺度衰减因子，σ_width和σ_high分别代表I_f在竖直方向及水平方向上的方差；

归一化互相关系数评估两张图像在像素分布上的相似性和相关程度，NC和NCC为公式(4.10)和(4.11)

其中，I_f，i和I_m，i分别代表I_f和I_m的第i个像素值，和分别代表I_f和I_m的平均像素值；

将梯度信息和归一化互相关系数相结合起来的梯度归一化互相关系数GradNCC为公式(4.12)

其中，和分别代表二维图像I第i个像素值在竖直方向的梯度图像和水平方向的梯度图像，和分别代表二维图像I在竖直方向的梯度图像和水平方向的梯度图像平均像素值；

所述步骤(3)中，进化策略通过迭代以下四个步骤实现空间的搜索：(a)采样出一组新的候选解；(b)计算对新候选解的最优值；(c)根据f(α)来选取最优解；(d)根据选择的解来更新参数；在进化算法的过程中，一个包含了(a)-(d)的完整迭代称之为一代，每次迭代产生新的候选解成为子代，用于生成子代的成为父代；对于CMA-ES来说，在步骤(c)挑选最优点之后根据当前这代的平均值m^(g-1)计算下一代的协方差矩阵C^(g)，并且在步骤(4)的时候使用更新的平均值m^(g)。