[发明专利]一种基于视频图像增强现实的内窥镜手术导航方法及装置

权利要求书

1.一种基于视频图像增强现实的内窥镜手术导航方法，其特征在于，包括以下步骤：

S1、获取患者的术前CT图像，分割出手术关注的重点部位，生成对应的三维模型，并在术前CT图像中选取解剖标志点；

S2、在患者手术部位和内窥镜上分别安装无源跟踪工具，设置导航系统，导航系统下的转换矩阵关系链如下：

其中，I为单位矩阵，为内窥镜坐标系相对内窥镜无源跟踪工具坐标系的转换矩阵，为内窥镜无源跟踪工具坐标系相对于导航系统世界坐标系的转换矩阵，为导航系统世界坐标系相对于患者手术部位无源跟踪工具坐标系的转换矩阵，为患者手术部位无源跟踪工具坐标系相对于内窥镜坐标系的转换矩阵；

S3、在导航系统下，利用已在导航系统下标定的探针，使用选取的解剖标志点配准真实患者与三维模型，得到配准矩阵T_R；

S4、在导航系统下标定内窥镜的参数，包括相机内参、相机外参和畸变参数，所述相机外参为内窥镜坐标系与内窥镜无源跟踪工具坐标系之间的转换矩阵

S5、根据导航系统下的转换矩阵关系链，确定患者手术部位无源跟踪工具坐标系相对于内窥镜坐标系的转换矩阵，使用针孔模型模拟成像将术前分割的手术关注的重点部位的三维模型投影渲染，对渲染结果使用内窥镜标定的畸变参数进行处理，得到虚拟图像，将虚拟图像与内窥镜实时采集的图像进行融合并显示。

2.根据权利要求1所述的一种基于视频图像增强现实的内窥镜手术导航方法，其特征在于，使用选取的解剖标志点配准CT空间与患者空间时，配准的目标为：通过不断迭代计算旋转和平移矩阵，最小化计算两个点云之间的距离，最终得到配准矩阵T_R。

3.根据权利要求1所述的一种基于视频图像增强现实的内窥镜手术导航方法，其特征在于，相机外参的标定具体为：

设置标志板，确定所述标志板与导航系统的相对位置；

在内窥镜的不同运动状态下，导航系统跟踪内窥镜无源跟踪工具的运动，确定导航系统与内窥镜无源跟踪工具之间的相对姿态；

在内窥镜运动时利用内窥镜获取标志板的图像；

根据内窥镜获取的标志板图像计算标志板与内窥镜之间的相对姿态，根据标志板与导航系统的相对位置计算导航系统与内窥镜之间的相对姿态，根据导航系统与内窥镜无源跟踪工具之间的相对姿态和导航系统与内窥镜之间的相对姿态计算得到相机外参

4.根据权利要求1所述的一种基于视频图像增强现实的内窥镜手术导航方法，其特征在于，针孔成像模型如下式：

其中，Z表示比例系数，u、v表示像素在图像坐标系中的坐标，d_x、d_y表征为感光元件在x，y方向的尺寸，u₀、v₀表征实际成像中心与理论中心的偏移量，f表示焦距，为内窥镜坐标系相对内窥镜无源跟踪工具坐标系的转换矩阵，为内窥镜无源跟踪工具坐标系相对于导航系统世界坐标系的转换矩阵，为导航系统世界坐标系相对于患者手术部位无源跟踪工具坐标系的转换矩阵，T_R表示配准矩阵，X_w、Y_w、Z_w为空间点的三维坐标。

5.根据权利要求1所述的一种基于视频图像增强现实的内窥镜手术导航方法，其特征在于，导航系统下内窥镜无源跟踪工具的实时位置的确定过程如下：

导航系统实时获取内窥镜无源跟踪工具的位姿，内窥镜实时获取手术图像，基于手术图像通过立体几何的方式计算得到内窥镜的运动，将内窥镜的运动与内窥镜无源跟踪工具的位姿的融合结果记为系统状态的测量值；

获取导航系统记录的内窥镜无源跟踪工具的运动过程，根据内窥镜无源跟踪工具的运动过程计算内窥镜无源跟踪工具的运动参数，包括速度与加速度；

使用上一时刻内窥镜无源跟踪工具的位姿与运动参数，计算出此时内窥镜无源跟踪工具的位置，该位置记为系统状态的预测值；

根据内窥镜无源跟踪工具的测量值与预测值，确定内窥镜无源跟踪工具的实时位置。