[发明专利]基于虚实融合的骨科微创术中实时可视化导航系统

说明书

本发明提供一种基于虚实融合的骨科微创术中实时可视化导航系统，包括：NDIPolaris光学追踪设备：用于获取标记点在现实三维空间中的6自由度位姿信息；光学追踪设备支架：用于支撑光学追踪设备(NDIPolaris)，使光学追踪设备以任意角度摆放在指点位置；深度相机：用于获取手术中正位、侧位方向视频数据及视频深度信息；显示器：用于实时展示术中被追踪手术器械在正侧视频、侧位视频及三维虚拟模型中的位姿，实现微创手术“可视化”；视频设备支架：用于支撑深度相机、显示器设备，并将其固定在指定位置；视频导航计算装置，用于对光学追踪设备和深度相机获取的数据进行处理，计算视频导航数据发送到显示器。

技术领域

本发明涉及一种基于虚实融合的骨科微创术中实时可视化导航系统。

背景技术

“微创化”是骨科手术发展的必然趋势，如何使微创手术“精准化”是目前亟待解决的问题。随着虚拟现实技术和增强现实技术的不断发展，将其应用至医学领域，尤其是骨科微创领域，越来越受到人们的广泛关注。利用虚拟现实技术可以突破空间的束缚，将患者的病灶区域全方位无死角地展现给术者；利用增强显示技术，可以将数字化虚拟信息叠加到真实场景，从根本上解决骨科微创手术非直观、定位不准确等问题。

基于虚实融合的骨科微创术中实时可视化导航系统可以有效地解决骨科微创手术的“精准化”问题，实现微创手术“透视化”，提高手术的安全性、精确性；“术中实时可视化”的实现可减少穿刺过程的盲目性，降低手术难度，从而使骨科微创手术更具有可推广性。该系统操作简便、不需要额外配置大型设备，可迅速地、广泛地进行传播和交流，具有良好的可推广性。

发明内容

本发明解决的技术问题是骨科微创手术定位不准、手术过程不直观的问题，针对此问题，本发明提供了一种基于虚实融合的骨科微创术中实时可视化导航系统。该系统满足了骨科微创手术“精准化”和“可视化”的要求。

本发明采用的技术方案为：一种基于虚实融合的骨科微创术中实时可视化导航系统，包括：

NDIPolaris光学追踪设备：用于获取标记点在现实三维空间中的6自由度位姿信息；

光学追踪设备支架：用于支撑光学追踪设备(NDIPolaris)，使光学追踪设备以任意角度摆放在指点位置；

深度相机：用于获取手术中正位、侧位方向视频数据及视频深度信息；

显示器：用于实时展示术中被追踪手术器械在正侧视频、侧位视频及三维虚拟模型中的位姿，实现微创手术“可视化”；

视频设备支架：用于支撑深度相机、显示器设备，并将其固定在指定位置；

视频导航计算装置，用于对光学追踪设备和深度相机获取的数据进行处理，计算视频导航数据发送到显示器。

进一步的，视频导航计算装置，包括以下三个模块：

术中多元数据配准与虚实融合模块：用于识别患者体表放置的标记点，标记患者病灶区域，实现对其定位与追踪；并且利用深度学习的方法，构建YOLO v3网络，对输入的术中实时视频和X光影像，识别并跟踪标记点的位置，通过计算视频的尺度信息和X光影像尺度信息调整X光影像的大小，根据视频标志点的位置信息调整X光影像的角度，实现与术中实时视频的匹配与融合显示；

光学跟踪数据与X光影像配准模块：用于根据NDIPolaris光学追踪设备提供的实时6自由度坐标信息，获取当前时刻穿刺针的位姿信息，利用坐标映射矩阵和X光影像的尺度信息，实现穿刺针的实时渲染；

光学跟踪数据与三维模型配准模块：用于根据术前获取的CT数据，重建患者病灶区域三维模型并构建三维模型坐标系；根据NDIPolaris光学追踪设备提供的实时6自由度坐标信息，计算穿刺针模型的位移大小和方向，根据坐标映射矩阵公式将其映射至三维模型坐标系下，完成穿刺针模型的渲染。