[发明专利]一种用于插管机器人的立体气道环境构建方法

权利要求书

1.一种用于插管机器人的立体气道环境构建方法，其特征在于，包括以下步骤：

1)通过控制插管机器人对内镜视频进行采集，获取初始图像和关键帧图像；

2)对初始图像和关键帧图像分别进行预处理，消除畸变、噪点及反光的影响；

3)对预处理后的初始图像和关键帧图像分别进行仿射变换增强处理用以增加待匹配的特征点，获取仿射变换后的图像组及对应的仿射变换矩阵；

4)对仿射变换后的图像组提取特征点，并对初始图像和关键帧图像进行特征点的重新映射展示；

5)根据重新映射展示后的初始图像和关键帧图像进行特征点的稀疏重建；

6)对稀疏重建后的稀疏点云进行稠密重建得到最终的稠密点云，即立体气道环境的3D模型；

所述的步骤2)具体包括以下步骤：

21)根据内镜镜头的内参，对初始图像和关键帧图像分别进行逆变换，恢复畸变前的形状；

22)进行高斯滤波消除图像中的高斯噪音；

23)在高斯滤波后进行直方图均衡，改变图像中像素的分布，加强图像中不同区域的对比度；

24)利用二值化算法对反光、高光区域形成掩码，并对掩码覆盖的区域，利用周围区域的像素平均值进行填充，从而消除反光与高光的影响；

所述的步骤3)具体包括以下步骤：

31)对于预处理后的初始图像和关键帧图像，模拟镜头倾斜角；

32)在每个倾斜角下模拟镜头旋转角度；

33)分别获取不同倾斜角与旋转角对应的仿射变换矩阵，并将对应的仿射变换矩阵作用于输入图像，形成仿射变换后的图像组，同时获取每幅输入图像对应的仿射变换矩阵；

所述的步骤3)中，为适应气道手术环境，模拟镜头倾斜角选择15°和30°，当倾斜角为15°时，旋转角度间隔为72°，共模拟5个旋转角，即0°、72°、144°、216°和288°，当倾斜角为30°时，旋转角度间隔为36°，共模拟10个旋转角，即0°、36°、72°、108°、144°、180°、216°、252°、288°和324°。

2.根据权利要求1所述的一种用于插管机器人的立体气道环境构建方法，其特征在于，所述的步骤1)具体包括以下步骤：

11)当插管机器人在前进过程中出现视野不清无法判断当前视野内的解剖标志物类型时，停止推进；

12)采集当前位姿下的解剖标志物周边的视频帧作为初始图像；

13)保持插管机器人的深度不变，在每个方向上调整插管机器人前端的角度，并采集角度调整过程中的多幅新视频帧；

14)获取新视频帧与初始图像之间的结构相似性评价指标SSIM，若结构相似性评价指标SSIM超出设定的阈值范围时，则表明出现失真，剔除该新视频帧，若结构相似性评价指标SSIM在设定的阈值范围内时，则满足要求保留该视频帧作为关键帧；

15)对于后续获取的新视频帧，获取其与前一时刻获取的新视频帧之间的结构相似性评价指标SSIM，直至达到设定的调整角度；

16)重复步骤13)-15)完成在所有方向上关键帧的获取。

3.根据权利要求2所述的一种用于插管机器人的立体气道环境构建方法，其特征在于，所述的步骤15)中，设定的调整角度为30°，即允许调整偏离的最大角度。

4.根据权利要求1所述的一种用于插管机器人的立体气道环境构建方法，其特征在于，所述的步骤4)具体包括以下步骤：

41)以仿射变换增强后的一组图像组及其仿射变换矩阵作为输入；

42)对该图像组中的每张图像，分别采用Akaze算法获取特征点坐标并形成特征描述符；

43)根据仿射变换矩阵，将每一张仿射变换后的图像中特征点的坐标分别映射回原始图像和关键帧图像，并保持对应的特征描述符不变，将该图像组中的特征点与特征描述符全部重新展示在原始图像和关键帧图像上，分别输出带有所有的特征点的原始图像和关键帧图像以及对应的特征描述符。