[发明专利]一种结合SfM和双目匹配的内窥图像三维重建方法

说明书

本发明公开了一种结合SfM（Structure from Motion）和双目匹配的内窥图像三维拼接方法，包括内窥镜左右视图序列获取，左视图或右视图序列SfM重建，双目匹配位点判断，双目匹配重建，点云预处理和SfM点云与双目匹配点云配准等步骤，本方法针对胃肠道场景的特点，在SfM三维重建点云框架的基础上，通过双目匹配点云的三维拼接，实现整个场景的快速稠密重建，重建结果保留了原有的特征和尺度信息，方便医生进行重点区域的观察和三维测量。

技术领域

本发明涉及内窥镜技术领域，具体涉及一种结合SfM和双目匹配的内窥图像三维拼接方法。

背景技术

内窥镜能够帮助医生观察到胃肠道中的真实场景，在临床诊断和治疗上具有广泛的应用。然而传统内窥镜无法产生直观的三维形态信息，容易导致医生在手术过程中对重要的结构及其相对的位置判断不准，从而难以进行有效准确的操作，增加手术的时间和风险。

双目内窥镜能够提供三维信息，辅助医生进行深度感知。 如果在获取三维影像的同时能够对胃肠道器官进行三维重建，则可以大大缩短手术时间，减少手术风险从而提高手术效率和安全性。

双目匹配是常用的内窥镜三维重建方法，如专利CN110033465A提出的对器官表面图像进行分割后，利用SfS（Shape from Shading）进行三维重建；专利CN111508068A提出的基于改进匹配代价值的视差优化实现的双目内窥三维重建方法。它们都是对单个视场进行重建，视野的局限性影响医生的观察，容易造成误差。完整场景的重建需要通过点云配准技术。常用的点云配准方法ICP（Iterative Closest Point）计算量巨大，且过于依赖初始变换矩阵，容易造成局部最优解。

SfM和SLAM（Simultaneous localization and mapping）方法能通过相机的移动还原整个场景的三维结构。专利CN111145238A通过SLAM方法实现单目内窥镜的三维重建，但该方法属于稀疏重建，其稠密化也是基于特征点的处理，只能得到场景的轮廓，医生无法通过该重建对具体细节进行观察；且其丢失了尺度信息，医生无法进行三维测量。

发明内容

针对现有技术的不足，本发明提出了一种结合SfM和双目匹配的内窥图像三维拼接方法。本发明针对胃肠道图像的场景特点，结合了SfM和双目匹配的优点，实现内窥图像的三维重建。

本发明通过SfM进行快速稀疏三维重建，双目匹配结果以此为框架，进行全局配准和拼接，速度快准确率高；双目匹配点云只需少量重叠就可实现拼接，速度快且保留了胃器官的三维特征。

一种结合SfM和双目匹配的内窥图像三维拼接方法，该方法以SfM三维重建结果为骨架，填入双目匹配点云，快速完成整个胃或其他器官场景的稠密三维拼接，该方法具体包括如下步骤：

S1：内窥镜左右视图序列获取，即使用双目标定后的内窥镜相机拍摄目标获得左右视图序列；

S2：左视图或右视图序列SfM重建，即通过增量式SfM实现左视图序列的稀疏三维重建，并使用CMVS（Clustering Views for Multi-view Stereo）和PMVS（Patch-basedMulti-view Stereo）方法对稀疏结果进行稠密重建；

S3：双目匹配位点判断，即使用二维特征匹配方法计算左视图序列的图像重叠面积，并根据重叠面积确定双目匹配位点；

S4：双目匹配重建，即通过双目匹配算法生成视差图，并结合双目相机参数生成相应的点云；

S5：点云预处理，即对双目重建点云和SfM重建点云分别执行相应的预处理操作；

S6：SfM点云与双目匹配点云配准，将各双目匹配位点的点云分别与SfM重建点云进行全局配准，获得对应的变化矩阵，实现胃器官的三维拼接。