[发明专利]一种腹腔镜增强现实融合显示方法

说明书

一种腹腔镜增强现实融合显示方法，涉及医疗应用领域，包括：步骤1：在人体表面增加5个标记点并利用三维重建软件以构建分别与皮肤、肝脏、血管、病灶、骨骼所对应的三维模型；步骤2：将所构建的与皮肤、肝脏、血管、病灶、骨骼所对应的三维模型传送给增强现实眼镜中；步骤3：医生佩戴增强现实眼镜后，将视野对准手术床上的病人体表，保证病人整体位于眼镜的视野中，并识别出病人体表上设置的5个标记点；步骤4：通过视野中的三维模型与病人体表的融合配准并进行增强现实显示以使得医生至少能够透视地看到人体内部的脏器、血管、及病灶。

技术领域

本发明涉及医疗应用领域，具体而言，涉及一种腹腔镜增强现实融合显示方法。

背景技术

胸腹腔复杂肿瘤治疗仍然是外科手术的难题，而腔镜手术作为一种微创手术，具有创伤小、患者术后疼痛较轻、恢复快等优点，逐渐成为外科手术的主流。在手术前，利用三维重建软件可以从二维CT、MR影像中分割出脏器、血管、病灶的区域，并进行三维重建，可以在三维直观立体地展示血管、病灶之间的位置关系，辅助医生进行术前手术规划。因此三维手术规划系统为外科医生提供了精准的三维地图，但是术中时，病人由于体位变化、气腹等操作，导致实际人体与术前CT时的体位不同。术中的脏器由于病人体位变化，会发生形变，尤其是柔性脏器。因此在术中精准定位肿瘤位置及其与血管位置关系，提供精准的术中导航系统是外科医生非常迫切的需求。

目前医生只能通过大脑想象，将内窥镜视野中的脏器、血管、病灶等于三维重建出的三维模型进行对应。增强现实技术在腹腔镜手术中得到应用，通过在胸腔穿刺前用于定位穿刺位置，角度，通过体标标记点定位实现模型配准。但是转入腔镜视频后，由于缺乏标记点，手术过程需要专业技术人员进行手动配准。

目前腔镜手术存在较大的缺陷：

1)腔镜视野局限，只能看到脏器的局部。

2)内窥镜图像中只能看到脏器表面，无法透过表面看到内部的各种血管、病灶；

3)缺乏力学反馈信息，无法像开腹手术一样，用手触摸感知脏器内部的肿瘤；

术前重建的三维模型与术中人体不在同一坐标系，因此需要将两者进行配准，统一到同一坐标系下。目前大部分的配准仍是基于人体交互的刚性配准方法，自动配准技术尚未成熟，并且还没有进行商用。

发明内容

本发明的目的在于提供一种腹腔镜增强现实融合显示方法，以至少解决以上问题之一。

本发明的实施例是这样实现的：本发明实施例的一方面，提供一种腹腔镜增强现实融合显示方法，将术前重建的三维模型与实际病人体表配准，融合增强现实，进行腹腔镜增强现实导航，该腹腔镜增强现实融合显示方法包括如下步骤：

步骤1：在人体表面增加5个标记点并利用三维重建软件以构建分别与皮肤、肝脏、血管、病灶、骨骼所对应的三维模型；

步骤2：将所构建的与皮肤、肝脏、血管、病灶、骨骼所对应的三维模型传送给增强现实眼镜中；

步骤3：医生佩戴所述增强现实眼镜后，将视野对准手术床上的病人体表，保证病人整体位于眼镜的视野中，并识别出病人体表上设置的5个标记点；

步骤4：通过视野中的三维模型与病人体表的融合配准并进行增强现实显示以使得所述医生至少能够透视地看到人体内部的脏器、血管、及病灶。

可选地，还包括：将所述增强现实眼镜与显示模块连接，以将所述增强现实眼镜中看到的图像显示于所述显示模块上。

可选地，所述显示模块包括具有显示屏的计算机。

可选地，所述步骤1的实施是在手术前CT拍摄时执行的。

可选地，所述步骤2中，是利用目标检测算法，识别出所述增强现实眼镜中三维模型上五个标记点位置。