[发明专利]一种用于手术导航的多层次交互可视化方法

说明书

本发明公开了一种用于手术导航的多层次交互可视化方法。本发明方法步骤如下：首先获取医学影像设备输出的多模态二维影像数据，对多模态二维影像数据进行预处理，获得组织器官图像；然后对组织器官图像二维组织器官图像进行三维重建，得到组织器官和病灶位置的3D模型文件并传输至客户端；客户端解析3D模型文件获得轮廓模型；选择3D模型中的感兴趣区域并对其进行清晰渲染，定义高危组织模型并染色，最后通过AR模块，将轮廓模型与渲染后的3D模型叠加至真实世界患者的对应位置，并在移动终端上显示辅助信息。本发明方法能够帮助医生在手术过程中根据手术路径实时追踪并分层次显示病灶部位周围组织器官，减缓医生压力、提高其手术成功率的效果。

技术领域

本发明涉及医学图像处理、人工智能、医学影像可视化技术领域，具体涉及一种用于手术导航的多层次交互可视化方法。

背景技术

随着计算机图形学技术的发展，人们对三维信息的需求与日俱增，三维可视化技术也迅速发展，而其在医学影像领域的应用也越加广泛。近几年，针对医疗领域的3D可视化平台层出不穷。但现有的可视化平台因传输速度、文件大小、渲染效果等方方面面的原因，特别是在移动端方面存在许多缺陷，比如移动端算力不足、渲染缓慢，导致在应用场景上有着很大的局限性。且其中大部分仅提供术前影像的查看或是针对术前的手术规划，在手术过程中无法提供帮助。而新兴的增强现实(AR)技术使得术前规划信息在手术过程实时呈现给医生成为可能，但目前用于AR手术的可视化平台还不完善。在手术过程中，现有的医学影像可视化平台很少能够提供病灶部位的辅助呈现，医生在手术过程中对肿瘤位置只能靠对术前影像分析后的推断，这就更考究医生本身的经验和技术。

发明内容

针对现有技术存在的不足，本发明提供一种用于手术导航的多层次交互可视化方法，其应用场景主要分为术前和术中两个阶段。在术前阶段在PC端提供多模态图像的预处理，以及三维重建，渲染，并在此基础上进行手术路径的规划；在术中阶段通过结合AR技术进行三维模型的辅助呈现，达到更为直观的效果。考虑术中场景的具体情况，使用移动设备进行显示更为方便快捷，通过两个阶段相结合，最终对手术实施达到一个精确辅助的效果。

一种用于手术导航的多层次交互可视化方法，步骤如下：

步骤(1).获取医学影像设备输出的多模态二维影像数据，所述的多模态二维影像数据包括CT、MRI、DR、CTA、PET图像；

步骤(2).通过服务器端对多模态二维影像数据进行预处理，获得组织器官图像，将组织器官图像进行压缩处理获得压缩后的组织器官图像；

步骤(3).对组织器官图像与压缩后的组织器官图像分别进行三维重建，得到包含组织器官和病灶位置的3D模型文件与模糊3D模型文件并传输至客户端；

步骤(4).客户端通过XTK框架识别vtk格式的模糊3D模型文件，解析模糊3D模型文件中的坐标数据，通过WebGL进行面绘制，获得轮廓模型。

步骤(5).通过术前规划的手术路径及用户的交互操作对步骤(3)所述的3D模型文件中的感兴趣区域进行选择并对所述感兴趣区域进行渲染，获得渲染后的3D模型。

步骤(6).通过AR模块，将轮廓模型与渲染后的3D模型叠加至真实世界患者的对应位置，并在移动终端上显示辅助信息。

步骤(2)具体方法如下：

所述图像预处理操作通过3D Slicer软件完成，将多模态二维影像数据导入3DSlicer软件中，使用3D Slicer软件的降噪模块对图像进行降噪，使用3D Slicer软件的分割模块对图像进行分割，可采取阈值分割或手动分割方式，使用3D Slicer软件的配准模块对同一患者不同模态分割后的图像进行配准，使用3D Slicer软件的融合模块对配准后的图像进行融合获得组织器官图像，使用3D Slicer软件的压缩模块对组织器官图像进行压缩获得压缩后的组织器官图像。