[发明专利]基于视频叠加的增强现实手术导航方法、系统及电子设备

摘要

本发明公开了一种基于视频叠加的增强现实手术导航方法、系统及电子设备，该方法包括：获取目标组织器官的术前三维解剖模型；根据术中立体腹腔镜所采集的腹腔镜视频信息，构建目标组织器官表面的点云数据；对术前三维模型和点云数据进行配准，根据配准结果，得到术前三维解剖模型和当前腹腔镜视图对应的点云数据的目标变换关系；根据目标变换关系，将术前三维解剖模型通过增强现实技术叠加显示在腹腔镜视图上。由此，无需人工手动介入，可实现完全自动化的非刚性配准，同时无需任何标记点和外部跟踪设备，可在标准临床手术过程中，完成对术中视野的增强现实显示，并通过图像跟踪技术完成对整个手术过程的实时导航，实现对医生术中的图像引导。

主权项

1.一种基于视频叠加的增强现实手术导航方法，其特征在于，包括：获取目标组织器官的术前三维模型；根据术中立体腹腔镜所采集的腹腔镜视频信息，构建术中目标组织器官表面的点云数据，分别得到拼接获得的第一点云数据与拼接结束时当前腹腔镜视图对应的目标组织器官的第二点云数据；对所述术前三维模型和所述第一点云数据进行刚性配准，以得到所述术前三维模型和所述第一点云数据的刚性配准结果；根据所述刚性配准结果，将术中重建的所述第二点云数据与所述术前三维模型进行配准，并以术中重建的所述第二点云数据中的各个点为中心，将距离所述中心在预设范围内的模型特征点作为第一待配准特征点；根据预设非刚性配准算法，对所述第一待配准特征点和所述第二点云数据进行非刚性配准，以得到所述第一待配准特征点和所述第二点云数据的非刚性配准结果；根据非刚性配准结果，得到所述术前三维模型和所述第二点云数据的目标变换关系；根据所述目标变换关系及相机成像基本原理，将所述术前三维模型通过增强现实技术叠加显示在当前视图的腹腔镜图像上。