[发明专利]基于多视图优化的管道三维重建方法、装置及存储介质

说明书

本发明涉及一种基于多视图优化的管道三维重建方法，包括以下步骤：步骤1)获取相机拍摄的贴于平面上的棋盘格模板的多角度模板图像，检测模板图像中的特征点，求解相机的内参矩阵；步骤2)获取管道内部图像；步骤3)对管道内部图像进行图像特征提取与初匹配；步骤4)基于孪生网络与光流对图像特征提取与初匹配结果进行多视图优化；步骤5)基于多视图优化结果对管道模型进行稀疏重建与稠密重建；步骤6)基于重建结果对管道模型进行点云分割和几何估计；步骤7)基于几何估计结果对管道模型进行纹理重建。与现有技术相比，本发明具有重建图像纹理细腻、三维场景还原效果好等优点。

技术领域

本发明涉及场景三维重建领域，尤其是涉及一种基于多视图优化的管道三维重建方法、装置及存储介质。

背景技术

管道在水利、军事、化工、城市排水等行业中被广泛使用，是一种重要的输送装置。管道的质量问题会严重影响相关系统的功能，因此，必须有专业人员定期对管道进行病害检测。近年来，如何利用机器视觉技术辅助工作人员进行管道病害检测是高等院校及科研院所的研究热点之一。

目前有较多基于深度学习直接代替人类进行管道病害检测的研究，然而这样的方法会丢失管道的三维信息，此外，管道内部图像具有重复性高、结构简单、特征不突出等特点，对于人类而言，针对这样的图像，能够结合经验、图像周围的环境以及视觉上的细微差别来区分；而对于计算机来说则不具备这种能力。

传统的三维重建方法分为图像采集、特征提取与匹配、稀疏重建、稠密重建与纹理映射五步。对于管道内部图像而言，由于存在上述特征，直接采用传统的三维重建方法会将大量特征误匹配为相似特征，使得稀疏重建与纹理重建得到的模型存在较多噪点，会使得纹理映射难以成功，而映射良好的模型表面亦会存在过多“褶皱”，无法进行观察。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种纹理细腻、三维场景还原效果好的基于多视图优化的管道三维重建方法。

本发明的目的可以通过以下技术方案来实现：

一种基于多视图优化的管道三维重建方法，包括以下步骤：

步骤1)获取相机拍摄的贴于平面上的棋盘格模板的多角度模板图像，检测模板图像中的特征点，求解相机的内参矩阵；

步骤2)获取管道内部图像；

步骤3)对管道内部图像进行图像特征提取与初匹配；

步骤4)基于孪生网络与光流对图像特征提取与初匹配结果进行多视图优化；

步骤5)基于多视图优化结果对管道模型进行稀疏重建与稠密重建；

步骤6)基于重建结果对管道模型进行点云分割和几何估计；

步骤7)基于几何估计结果对管道模型进行纹理重建。

所述步骤2)中的管道内部图像由高分辨率单反相机于管道内部拍摄得到，所述相机采用手动曝光，拍摄过程保持镜头焦距不变，对管道内部表面进行充分补光，进行360度均匀拍摄，同时保证相邻图像间有较大的重叠区域、保证管道表面每一部分从多个视角进行拍摄。所述高分辨率单反相机的拍摄像素不小于500万。

所述步骤3)包括：

步骤3-1)对管道内部图像建立高斯差分金字塔，检测、定位图像的尺度不变关键点，确定图像关键点的方向，生成特征描述子；

步骤3-2)根据欧氏距离确定不同图像的特征点之间的相似度，根据相似度进行图像的初步匹配。

所述步骤4)包括：

步骤4-1)搭建孪生网络，两两输入图像，计算两幅图像特征点间的光流；