[发明专利]一种用于单目内窥镜手术中的多基线融合的深度估计方法

权利要求书

1.一种用于单目内窥镜手术中的多基线融合的深度估计方法，其特征在于，包括以下步骤：

S1.采集内窥镜拍摄的照片；

S2.根据内窥镜的内参矩阵和畸变系数对照片进行校正；

S3.对校正后的照片进行深度估计；

S4.用基线选取方法选出当前内窥镜画面中物体所处的深度范围下的最优基线；对每对左右图进行深度估计，深度估计的具体步骤包括：

S41.计算每对左右图中两张照片的匹配代价；对两张照片进行水平Sobel处理，之后计算得到BT代价值1，对水平Sobel处理前的两张照片直接计算BT代价值2；将BT代价值1和BT代价值2计算得到的代价值进行相加融合；

S42.对融合后的代价值进行成块计算；对每个像素的代价值用周围领域代价值的总和来代替，提高匹配的鲁棒性；

S43.对代价值进行SGM优化；对每个像素点P都进行多个路径像素代价的聚合，聚合公式如下：

S44.计算两张照片的视差；用胜者为王算法，选择代价最优的点作为对应的匹配点；

S45.进行视差后处理；包括置信度检测和左右一致性检测；

S46.计算深度值z；根据内窥镜内参中的焦距f和外参矩阵[R|T]估算出内窥镜在拍摄两张图片之间移动的基线距离b，根据深度计算公式计算出深度值；深度计算公式如下：

z＝f×b/d

式中，f是内窥镜焦距，b是基线距离，d是视差值；

S5.将最优基线附近的几个基线对应的深度图进行融合，得到最终的深度图；

S6.根据融合后的深度图在照片中标注出每个物体的深度值；

S7.将标注深度后的照片显示在屏幕上，根据照片中的深度信息判断画面中物体的位置。

2.根据权利要求1所述的用于单目内窥镜手术中的多基线融合的深度估计方法，其特征在于，所述的步骤S1具体包括：

对内窥镜进行标定；将一张间距已知的棋盘格贴在模拟手术台的台面上，移动内窥镜并在不同位置、角度对棋盘格拍摄多张照片，用张氏标定法估算出内窥镜的内参矩阵A、外参矩阵[R|T]以及畸变参数[k1,k2,k3,p1,p2]；

在进行手术时，用内窥镜分别向左和向右水平移动一定距离，并每隔相同距离采集一张照片，向左移动后拍摄的照片与向右移动后拍摄的照片分别一一对应组成多对左右图；并将上述照片传回计算机。

3.根据权利要求1所述的用于单目内窥镜手术中的多基线融合的深度估计方法，其特征在于，在所述的步骤S5中，基线的选取包括以下步骤：

首先设定基线可变化的范围；

然后进行第一次迭代：在基线可变范围内等间隔取出N个基线，分别计算对应深度图的评价得分，取出最小得分对应的基线；

第二次迭代：在第一次迭代得到的最优基线附近再等间隔取基线，再次取出最小得分对应的基线，即得到最终使用的基线。

4.根据权利要求3所述的用于单目内窥镜手术中的多基线融合的深度估计方法，其特征在于，对深度图进行评价，采用以下深度图评价函数：

imgQ＝Q₁×k₁+₂×k₂

其中，Q₁是评价指标1：黑点数量，用于判断基线是否过大，Q1过大，说明基线过大；Q₂是评价指标2：深度-视差函数的斜率的绝对值，用于判断基线是否过小，Q2过大，说明基线过小。

5.根据权利要求1所述的用于单目内窥镜手术中的多基线融合的深度估计方法，其特征在于，在所述的步骤S6中，将最优基线附近的几个基线对应的深度图进行融合，其中深度图融合具体包括以下步骤：

用基线距离相邻的几张深度图进行融合；对于每个像素点，取出多个深度图中的非0深度值相加再取平均，得到融合图在该像素点的深度值；

对某一个像素点，取出同一张深度图中以该像素点为中心的l*l方块，以其中的非0深度值的均值代替该像素点的深度值。