[发明专利]内窥镜图像处理方法、装置、电子设备及计算机存储介质

权利要求书

1.一种内窥镜图像处理方法，其特征在于，包括：

获取由内窥镜拍摄的第一图像；

根据所述第一图像构建与所述第一图像所包含的物体图像相对应的三维场景；

根据所述内窥镜的位姿信息，确定所述内窥镜对应的内窥镜三维模型在第一坐标系中的第一位姿，其中，所述第一坐标系为所述三维场景的坐标系；

根据内窥对象的位姿信息，确定所述内窥对象的三维解剖模型在所述第一坐标系中的第二位姿；

根据所述第一位姿和所述第二位姿，在所述第一坐标系中对所述第一图像、所述三维场景、所述内窥镜三维模型和所述三维解剖模型进行融合，获得融合三维图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像构建与所述第一图像所包含的物体图像相对应的三维场景，包括：

对所述第一图像进行去高光处理，获得第二图像；

对所述第二图像所包含的物体图像进行特征提取和特征匹配，获得特征信息；

对所述第二图像所包含的物体图像进行深度估计，获得深度信息；

根据所述第二图像、所述特征信息和所述深度信息，构建所述三维场景。

3.根据权利要求1所述的方法，其特征在于，所述根据所述内窥镜的位姿信息，确定所述内窥镜对应的内窥镜三维模型在第一坐标系中的第一位姿，包括：

获取第二坐标系和所述第一坐标系之间的第一转换矩阵，其中，所述第二坐标系为机械臂坐标系，所述机械臂加持所述内窥镜，所述机械臂被构造为带动所述内窥镜运动；

通过所述第一转换矩阵，将所述内窥镜在所述第二坐标系中的所述位姿信息转换为所述内窥镜在所述第一坐标系中的位姿信息；

根据所述内窥镜在所述第一坐标系中的位姿信息，确定所述内窥镜对应的内窥镜三维模型在所述第一坐标系中的第一位姿。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：获取第一标定点在第三坐标系中的第一空间坐标和第二标定点在第三坐标系中的第二空间坐标，并根据所述第一空间坐标和所述第二空间坐标，确定所述内窥对象在所述第二坐标系中的所述位姿信息，其中，第三坐标系为相机坐标系，所述第一标定点位于所述机械臂上，所述第二标记点位于内窥对象上；

所述根据内窥对象的位姿信息，确定所述内窥对象的三维解剖模型在所述第一坐标系中的第二位姿，包括：

根据所述第一转换矩阵和所述内窥对象在所述第二坐标系中的所述位姿信息，确定所述第二位姿。

5.根据权利要求1所述的方法，其特征在于，所述三维解剖模型为基于所述内窥对象体内不同位置的梯度进行着色，且采用不透明度增强容积显示的三维解剖模型。

6.根据权利要求1-5任一所述的方法，其特征在于，所述方法还包括：

预测所述内窥镜在所述内窥对象内部的运动方向；

根据所述运动方向对所述内窥镜进行碰撞检测；

若所述内窥镜在所述内窥对象内部发生碰撞，则停止所述内窥镜在所述内窥对象内部的运动。

7.根据权利要求6所述的方法，其特征在于，所述根据所述运动方向对所述内窥镜进行碰撞检测，包括：

针对所述内窥镜构建第一虚拟包围盒，其中，所述内窥镜位于所述第一虚拟包围盒内；

分别针对所述内窥对象内部的每个子内窥对象构建相对应的第二虚拟包围盒，其中，所述第二虚拟包围盒对应的所述子内窥对象位于该第二虚拟包围盒内；

针对每个所述第二虚拟包围盒，判断在所述运动方向上，所述第一包围盒是否与该第二包围盒相交，若是，则确定所述内窥镜会在所述运动方向上与该第二虚拟包围盒对应的子内窥对象发生碰撞。