[发明专利]基于视频叠加的增强现实手术导航方法、系统及电子设备

权利要求书

1.一种基于视频叠加的增强现实的手术导航系统，其特征在于，包括：

第一获取模块，用于获取目标组织器官的术前三维模型；

构建模块，用于根据术中立体腹腔镜所采集的腹腔镜视频信息，构建术中目标组织器官表面的点云数据，分别得到拼接获得的第一点云数据与拼接结束时当前腹腔镜视图对应的目标组织器官的第二点云数据；

所述构建模块，包括：

分割单元，用于根据预先训练的图像分割模型，对腹腔镜图像进行目标组织器官区域和手术器械区域分割，得到目标组织器官图像和手术器械图像；

重建单元，用于对所分割出的目标组织器官图像和手术器械分割图像进行立体匹配和三维重建，分别得到目标组织器官和手术器械三维点云；

计算单元，用于根据分割得到的多幅目标组织器官腹腔镜图像，计算其对应的多个目标组织器官三维点云间的两两变换关系；

拼接单元，用于根据目标组织器官三维点云的两两变换关系，通过空间映射将多个目标组织器官三维点云变换到当前视图腹腔镜图像对应的目标组织器官三维点云坐标系下，完成点云拼接，并对拼接的点云进行降噪、曲面拟合和降采样的后处理操作；

确定单元，用于将拼接结束时得到的拼接点云作为术中目标组织器官表面的第一点云数据，将拼接结束时，当前视图腹腔镜图像对应的单个目标组织器官三维点云作为目标组织器官表面的第二点云数据；

第一配准模块，用于对所述术前三维模型和所述第一点云数据进行刚性配准，以得到所述术前三维模型和所述第一点云数据的刚性配准结果；

第二获取模块，用于根据所述刚性配准结果，将术中重建的所述第二点云数据与术前三维模型进行配准，并以术中重建的所述第二点云数据中的各个点为中心，将距离所述中心在预设范围内的模型特征点作为第一待配准特征点；

第二配准模块，用于根据预设非刚性配准算法，对所述第一待配准特征点和所述第二点云数据进行非刚性配准，以得到所述第一待配准特征点和所述第二点云数据的非刚性配准结果；

第一确定模块，用于根据非刚性配准结果，确定所述术前三维模型和所述第二点云数据的目标变换关系；

显示模块，用于根据所述目标变换关系及相机成像基本原理，将所述术前三维模型通过增强现实技术叠加显示在当前视图的腹腔镜图像上。

2.如权利要求1所述的系统，其特征在于，所述系统还包括：

追踪模块，用于根据分割出的手术器械图像信息，计算手术器械的三维点云，通过点云刚性配准技术计算手术器械三维点云的变换关系，对所述手术器械进行追踪。

3.如权利要求1所述的系统，其特征在于，所述重建单元，具体用于：

根据半全局立体匹配算法，对分割出的所述目标组织器官图像和手术器械图像分别进行立体匹配，以得到二者对应的视差图图像；基于获得的视差图图像结果，依据三维重建基本原理，在相机标定获得相机参数后，计算确定目标组织器官和手术器械的三维点云信息。

4.如权利要求1-3任一项所述的系统，其特征在于，还包括：

所述第一配准模块，具体用于：

根据预设的刚性配准算法，对所述第一点云数据和所述术前三维模型进行刚性配准，以得到所述术前三维模型和所述第一点云数据的刚性配准结果，其中，刚性配准算法的初始配准矩阵可通过预设的主成分分析算法计算获得。

5.如权利要求1所述的系统，其特征在于，所述预设非刚性配准算法包括一致性点漂移算法CPD。