[发明专利]基于虚实融合的骨科微创术中实时可视化导航系统

权利要求书

1.一种基于虚实融合的骨科微创术中实时可视化导航系统，其特征在于，包括：

NDIPolaris光学追踪设备：用于获取标记点在现实三维空间中的6自由度位姿信息；

光学追踪设备支架：用于支撑NDIPolaris光学追踪设备，使光学追踪设备以任意角度摆放在指点位置；

深度相机：用于获取手术中正位、侧位方向视频数据及视频深度信息；

显示器：用于实时展示术中被追踪手术器械在正位、侧位方向视频及三维虚拟模型中的位姿，实现微创手术可视化；

视频设备支架：用于支撑深度相机、显示器设备，并将其固定在指定位置；

视频导航计算装置，用于对光学追踪设备和深度相机获取的数据进行处理，计算视频导航数据发送到显示器；所述视频导航计算装置，包括以下三个模块：

术中多元数据配准与虚实融合模块：用于识别患者体表放置的标记点，标记患者病灶区域，实现对其定位与追踪；并且利用深度学习的方法，构建YOLO v3网络，对输入的术中实时视频和X光影像，识别并跟踪标记点的位置，通过计算视频的尺度信息和X光影像尺度信息调整X光影像的大小，根据视频标志点的位置信息调整X光影像的角度，实现与术中实时视频的匹配与融合显示；

光学跟踪数据与X光影像配准模块：用于根据NDIPolaris光学追踪设备提供的实时6自由度坐标信息，获取当前时刻穿刺针的位姿信息，利用坐标映射矩阵和X光影像的尺度信息，实现穿刺针的实时渲染；

光学跟踪数据与三维模型配准模块：用于根据术前获取的CT数据，重建患者病灶区域三维模型并构建三维模型坐标系；根据NDIPolaris光学追踪设备提供的实时6自由度坐标信息，计算穿刺针模型的位移大小和方向，根据坐标映射矩阵公式将其映射至三维模型坐标系下，完成穿刺针模型的渲染。

2.根据权利要求1所述的一种基于虚实融合的骨科微创术中实时可视化导航系统，其特征在于：

所述的术中多元数据配准与虚实融合模块，用于对X光影像和术中手术视频进行配准及虚实融合，在患者体表放置标记点，标记患者病灶区域，实现对其定位与追踪；首先利用YOLO v3深度神经网络识别并标记术中实时视频的标记点位置及对应X光影像中标记点位置，利用标记点在视频中的尺度信息和在X光影像中的尺度信息，计算视频空间尺度和X光影像空间尺度的映射关系，并根据尺度映射关系调整X光影像的大小；

然后根据所获得的标记点位置，选取标记点中坐标最小的两个点作为线段的两个端点，将术中视频中该线段与坐标系的夹角并与X光影像中该线段与坐标系的夹角进行比较，二者差值即为完成图像匹配时X光图像的旋转角；

以术中视频与X光影像中坐标最小的标记点为匹配中心，根据计算所得旋转角，将调整至适当大小的X光影像旋转，并与术中实时视频叠加，实现X光影像和术中手术视频的配准及虚实融合。

3.根据权利要求1所述的一种基于虚实融合的骨科微创术中实时可视化导航系统，其特征在于：

所述光学跟踪数据与X光影像配准模块，用于对微创手术穿刺针在X光影像中进行6自由度实时更新及融合，计算NDIPolaris光学追踪设备坐标系和X光影像坐标系的映射矩阵，根据当前时刻穿刺针的6自由度位姿信息，计算穿刺针模型在X光影像坐标系中的位姿，完成穿刺针的渲染；

根据NDIPolaris光学追踪设备和X光机在现实空间中的物理位置关系，计算二者坐标系的映射关系，并根据NDIPolaris光学追踪设备的尺度信息和X光影像的尺度信息，计算二者坐标系间尺度映射关系，最终计算得到NDIPolaris光学追踪设备坐标系和X光影像坐标系的映射矩阵；

规定穿刺针在相机坐标系中坐标为(u,v)，穿刺针在NDIPolaris光学追踪设备坐标系中坐标为(x₁,y₁,z₁)，穿刺针在现实空间坐标系中坐标为(x₂,y₂,z₂)，则：

其中，dx、dy、dz、du、dv为坐标系单位长度变换比例；

然后根据NDIPolaris光学追踪设备获得的穿刺针位姿信息，通过坐标系映射矩阵，计算得到穿刺针在X光影像坐标系下的6自由度位姿，并根据穿刺针的尺度信息，完成穿刺针在X光影像坐标系下的实时渲染。

4.根据权利要求1所述的一种基于虚实融合的骨科微创术中实时可视化导航系统，其特征在于：

所述光学跟踪数据与三维模型配准模块，用于对穿刺针在三维模型中的位置实时渲染更新，通过计算NDIPolaris光学追踪设备坐标系和物理空间坐标系的映射矩阵，以及物理空间坐标系和三维模型坐标系的映射矩阵，利用两个坐标系映射矩阵实现穿刺针模型在三维模型坐标系的渲染；

首先，根据NDIPolaris光学追踪设备和病人在现实空间中的物理位置关系和尺度信息，计算二者坐标系的映射矩阵；根据病人和三维模型的尺度关系，构建二者坐标系的映射矩阵，规定穿刺针在NDIPolaris光学追踪设备坐标系中坐标为(x₁,y₁,z₁)，穿刺针在现实空间坐标系中坐标为(x₂,y₂,z₂)，则：

其中，dx、dy、dz为坐标系单位长度变换比例；

然后，在三维模型空间中设定穿刺针的初始位置和姿态，将穿刺针摆放至现实物理空间中对应位置和姿态，记录此时NDIPolaris光学追踪设备提供的实时6自由度坐标信息作为穿刺针初始位姿，之后实时获取穿刺针6自由度位姿信息，计算穿刺针在NDIPolaris光学追踪设备坐标系下相对初始位姿的实时位移和角度偏转；通过NDIPolaris光学追踪设备-现实物理空间坐标系映射矩阵及现实物理空间-三维模型空间坐标系映射矩阵，计算穿刺针在三维模型空间下相对初始位姿的位移和角度偏转，从而实现穿刺针在三维模型空间系下实时定位追踪，实现穿刺针模型的实时渲染。