[发明专利]面向微创手术空间感知的内窥镜图像三维重构方法和系统

说明书

本发明提供一种面向微创手术空间感知的内窥镜图像三维重构方法和系统，涉及三维重构技术领域。本发明通过获取内窥镜图像，基于预设的多任务神经网络模型对内窥镜图像的当前帧进行深度估计，获取当前帧的点云深度；基于点云深度和相机模型获取局部点云；对多个局部点云进行配准融合；对配准融合后的多个局部点云进行拼接，形成随着时间推移柔性变换的全局点云，对全局点云进行可视化展示。本发明克服了现有的基于深度学习的内窥镜图像三维重构方法仅能估计当前内窥镜图像的景深信息，无法重构并动态更新整体三维模型的技术问题，实现面向微创手术空间感知的内窥镜图像三维重构。

技术领域

本发明涉及三维重构技术领域，具体涉及一种面向微创手术空间感知的内窥镜图像三维重构方法和系统。

背景技术

微创手术，是指利用内窥镜等现代医疗器械及相关设备进行的手术。在过去的十年里，微创手术以创口小、疼痛轻、出血少、恢复快等优势，成为普外、泌尿、脑外、心外等多个科室的重要诊疗手段。

在微创手术中，由于内窥镜视场角的限制，医生难以获得全面的体内环境信息。此外，术前和术中器官位移，术中手术操作可能导致解剖学特征缺失，给术中病灶点定位、缝合、切割等操作带来挑战，降低手术精度。体内模型三维重构可以解决上述问题，辅助微创手术的开展。

现有的基于深度学习的内窥镜图像三维重构方法仅能估计当前内窥镜图像的景深信息，无法重构并动态更新整体三维模型。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种面向微创手术空间感知的内窥镜图像三维重构方法和系统，解决了现有的方法无法重构并动态更新整体三维模型的技术问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

本发明提供了一种面向微创手术空间感知的内窥镜图像三维重构方法，所述方法包括：

S1、获取内窥镜图像；

S2、基于预设的多任务神经网络模型对内窥镜图像的当前帧进行深度估计，获取当前帧的点云深度；

S3、基于所述点云深度和相机模型获取局部点云；

S4、对多个局部点云进行配准融合；

S5、对配准融合后的多个局部点云进行拼接，形成随着时间推移柔性变换的全局点云，对全局点云进行可视化展示。

优选的，所述预设的多任务神经网络模型包括：三类卷积块和全局池化层，所述三类卷积块包括卷积块一、卷积块二和卷积块三，所述多任务神经网络模型处理内窥镜图像的过程包括：

通过两个卷积块一对两帧内窥镜图像提取内窥镜图像的特征图，得到第一特征图和第二特征图，两个卷积块一之间的网络参数权值共享；

对所述第一特征图和第二特征图进行拼接，通过所述卷积块二对拼接后的特征图进行特征提取，得到帧间运动向量估计特征；

通过所述全局池化层对帧间运动向量估计特征进行池化处理，得到两帧内窥镜图像之间的相机运动向量；

通过所述卷积块三对拼接后的特征图进行调整特征提取，得到深度信息特征；第二特征图与深度信息特征跳层连接，输出适用于第二张内窥镜图像的多尺度视差图。

优选的，所述预设的多任务神经网络模型的训练过程包括：

获取内窥镜图像并进行处理；

将处理后的内窥镜图像输入到初始神经网络模型，采用自监督的方式对初始神经网络模型进行训练，得到多任务神经网络模型；

其中，训练过程中的损失函数包括：