[发明专利]一种腹腔镜手术中视频与术前模型融合显示的方法及装置

权利要求书

1.一种腹腔镜手术中视频与术前模型融合显示的方法，其特征在于，包括：

获取腹腔镜手术中视频，确定出器官的腹腔镜增强图像；

将所述器官的腹腔镜增强图像输入到训练好的神经网络模型中，得到所述器官的边缘点集；所述训练好的神经网络模型是使用标注有器官边缘轮廓的腹腔镜视频图像对预设的神经网络模型进行训练学习得到的；

将所述器官的边缘点集与所述器官的边缘点集信息库中的边缘点进行匹配，得到变换矩阵；所述器官的边缘点集信息库是根据所述器官的术前三维影像得到的；

根据所述变换矩阵，将所述器官的边缘点集对应的术前三维模型映射到腹腔镜手术中视频中进行显示；

所述器官的边缘点集信息库是通过如下方式得到的：

获取所述器官的术前三维影像；

分割所述器官的术前三维影像进行重建，得到所述器官的术前三维模型；

提取所述器官的术前三维模型的轮廓线，得到所述器官的边缘点集信息库。

2.如权利要求1所述的方法，其特征在于，所述获取腹腔镜手术中视频，确定出器官的腹腔镜增强图像，包括：

获取腹腔镜手术中的视频；

提取所述腹腔镜手术中的视频中所述器官的关键图像帧；

对所述关键图像帧进行图像增强处理，得到所述器官的腹腔镜增强图像。

3.如权利要求1所述的方法，其特征在于，所述提取所述器官的术前三维模型的轮廓线，得到所述器官的边缘点集信息库，包括：

按照预设变化幅度、圆的参数角度条件和旋转角度条件对所述术前三维模型进行变化，得到每次变化的旋转矩阵；

根据每次变化的旋转矩阵计算三维点云的投影像素；

对所述投影像素进行二值化处理，提取投影轮廓，得到所述器官的边缘点集信息库。

4.如权利要求1至3任一项所述的方法，其特征在于，所述使用标注有器官边缘轮廓的腹腔镜视频图像对预设的神经网络模型进行训练学习得到所述训练好的神经网络模型，包括：

获取标注有器官边缘轮廓的腹腔镜视频图像；

将所述标注有器官边缘轮廓的腹腔镜视频图像分为训练集和测试集；

根据所述测试集和所述训练集使用K折交叉验证法对预设的神经网络模型进行训练，直到所述预设的神经网络模型收敛，得到所述训练好的神经网络模型。

5.一种腹腔镜手术中视频与术前模型融合显示的装置，其特征在于，包括：

获取单元，用于获取腹腔镜手术中视频，确定出器官的腹腔镜增强图像；

处理单元，用于将所述器官的腹腔镜增强图像输入到训练好的神经网络模型中，得到所述器官的边缘点集；所述训练好的神经网络模型是使用标注有器官边缘轮廓的腹腔镜视频图像对预设的神经网络模型进行训练学习得到的；将所述器官的边缘点集与所述器官的边缘点集信息库中的边缘点进行匹配，得到变换矩阵；所述器官的边缘点集信息库是根据所述器官的术前三维影像得到的；根据所述变换矩阵，将所述器官的边缘点集对应的术前三维模型映射到腹腔镜手术中视频中进行显示；

所述处理单元具体用于：

获取所述器官的术前三维影像；

分割所述器官的术前三维影像进行重建，得到所述器官的术前三维模型；

提取所述器官的术前三维模型，得到所述器官的边缘点集信息库。

6.如权利要求5所述的装置，其特征在于，所述获取单元具体用于：

获取腹腔镜手术中的视频；

提取所述腹腔镜手术中的视频中所述器官的关键图像帧；

对所述关键图像帧进行图像增强处理，得到所述器官的腹腔镜增强图像。

7.一种计算设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至4任一项所述的方法。

8.一种计算机可读非易失性存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求1至4任一项所述的方法。