[发明专利]一种用于单目内窥镜手术中的多基线融合的深度估计方法

说明书

本发明属于深度估计领域和医学图像处理技术领域，更具体地，涉及一种用于单目内窥镜手术中的多基线融合的深度估计方法。能够应用到临床中，起到在术中辅助手术的作用。通过水平移动小段距离对当前手术画面获取两张不同视角的照片，可以对组织纹理较少的手术画面估计出较为准确的深度信息。本发明还提出了一种多基线深度图融合的方法，针对不同的深度范围在合适的基线附近选择多个基线，将不同基线得到的深度图进行融合，保证在不同深度范围时都能生成准确的深度图。

技术领域

本发明属于深度估计领域和医学图像处理技术领域，更具体地，涉及一种用于单目内窥镜手术中的多基线融合的深度估计方法。

背景技术

目前，有一些深度估计或三维重建的方法已经应用在内窥镜场景中，比如微创手术中准稠密重建的SLAM方法，但是这种方法需要人为细致地调整参数，而且重建的准确率不能满足内镜手术的精度要求。卷积神经网络在内窥镜图像深度估计中展现出了一定的效果，但这类方法需要有稠密的深度真值图加入训练中，这种真值图在手术中获取难度很大。而且内窥镜图像中光线变化会使得同一个组织的成像发生很大变化，不利于神经网络学习到深度特征。

图像融合是图像处理中常用的技巧之一，主要用于将多张图像的有利信息提取出来，综合成高质量的图像。但是传统的图像融合方法中并没有针对内窥镜手术场景的，也没有针对不同基线深度图的。

中国专利2019105958931，公开了一种白内障手术显微镜下单目深度估计方法，采用的是垂直位移拍照，画面有缩放，但是对画面中每个物体的视角并没有太大变化，在组织纹理较少的情况下无法为深度估计提供充分的信息，另外也没有给出基线的测量方法。中国专利201710866551X，公开了一种手术导航定位方法及装置，需要获取多光谱、不同角度、不同位置的荧光图像和白光图像，无法实时对画面中的物体做出深度估计。

发明内容

本发明为克服上述现有技术中的缺陷，提供一种用于单目内窥镜手术中的多基线融合的深度估计方法，可以对组织纹理较少的手术画面估计出较为准确的深度信息。

为解决上述技术问题，本发明采用的技术方案是：一种用于单目内窥镜手术中的多基线融合的深度估计方法，包括以下步骤：

S1.采集内窥镜拍摄的照片；

S2.根据内窥镜的内参矩阵和畸变系数对照片进行校正；

S3.对校正后的照片进行深度估计；

S4.用基线选取方法选出当前内窥镜画面中物体所处的深度范围下的最优基线；

S5.将最优基线附近的几个基线对应的深度图进行融合，得到最终的深度图；

S6.根据融合后的深度图在照片中标注出每个物体的深度值；

S7.将标注深度后的照片显示在屏幕上，根据照片中的深度信息判断画面中物体的位置。

在其中一个实施例中，所述的步骤S1具体包括：

对内窥镜进行标定；将一张间距已知的棋盘格贴在模拟手术台的台面上，移动内窥镜并在不同位置、角度对棋盘格拍摄多张照片，用张氏标定法估算出内窥镜的内参矩阵A、外参矩阵[R|T]以及畸变参数[k1，k2，k3，p1，p2]；

在进行手术时，用内窥镜分别向左和向右水平移动一定距离，并每隔相同距离采集一张照片，向左移动后拍摄的照片与向右移动后拍摄的照片分别一一对应组成多对左右图；并将上述照片传回计算机。

在一些实施例中，用内窥镜向左、向右分别移动20毫米，每隔1毫米采集一张照片。

进一步的，在所述的步骤S5中，基线的选取包括以下步骤：

首先设定基线可变化的范围；