[发明专利]深度点云融合的矿井液压支架群位姿三维重建方法

说明书

本发明涉及一种深度点云融合的矿井液压支架群位姿三维重建方法，步骤包括：使用HoloLens2设备对矿井液压支架群进行整体扫描与三维重建，得到带有相对位置信息的支架群初步三维点云模型；使用多台Azure Kinect DK设备对液压支架群进行局部扫描，获取各台液压支架关键部位三维点云；定位扫描与修补扫描两阶段点云经滤波与两阶段配准处理后拼接融合，得到液压支架群的完整点云模型；使用点云分割算法对支架群完整三维点云模型划分，采用CVT算法进行点云三角网格化处理和纹理映射，得到支架群三维模型。本发明可兼顾液压支架群三维模型的定位精度与外观真实度，实现对液压支架群的三维认知，如对液压支架位置、姿态、运动等的识别，为煤矿智能化开采提供必要的信息。

技术领域

本发明涉及视觉三维重建技术领域，更具体地说，涉及一种深度点云融合的矿井液压支架群位姿三维重建方法。

背景技术

三维重建技术是计算机视觉技术、图形图像处理领域中一个重要的研究方向,其在自动驾驶、机器人自主导航、文物保护、建筑设计、临床医疗等方面有着广泛的应用前景。工业4.0离不开智能制造，智能制造离不开计算机视觉，而三维重建技术又是计算机视觉技术的灵魂。在煤矿领域，智能化开采也非常迫切地要求计算机视觉技术的应用。从物体辨识、产品检测、外观尺寸测量到设备定位，都是机器视觉技术可以发挥的舞台。

目前，三维重建技术在矿井中有一定程度的应用，但主要应用于矿井环境如巷道等的三维重建，且大多采用的是基于普通数码摄像机的双目视觉系统。事实上，对综采装备的三维认知，如对三机形状、位置、姿态、运动等的识别，也是十分重要的，可为煤矿智能化开采提供必要的信息；而普通数码相机在井下应用时，受水汽、灰尘等影响，三维重建效果严重下降。深度摄像头设备如Kinect等采用的是Time-of-Flight的单目视觉原理，即通过从投射的红外线脉冲反射回来的时间来获得深度信息，受井下恶劣环境影响较小，但其在井下三维重建领域的应用还较为空缺。

公开论文“基于立体视觉的煤矿巷道三维重建方法研究”，利用数字图像处理技术根据摄像机拍摄的巷道断面照片对井下巷道进行三维重建。提出一种基于中心线-断面属性的局部建模方法。该方法能实现平巷、斜坡道、竖井等地下工厂的三维实体建模。

公开号CN109166134A的“基于多Kinect的人体动态三维重建方法”，先采集每一个Kinect中的深度数据，通过算法将采集到的深度数据转换为点云数据，对每一个Kinect进行准确的标定；再对点云数据进行人体检测和背景消除得到人体点云数据，对人体点云数据进行几何配准得到三维人体点云信息,该方法实现了多Kinect的人体动态三维重建。

公开号CN110111416A的“基于HoloLens眼镜的矿井内部模型采集建立方法”，采用HoloLens眼镜的空间映射功能采集矿井内部结构信息,HoloLens眼镜将其存储的多组矿井内部结构信息网格以及照片信息传输给数据处理计算机；数据处理计算机对多组矿井内部结构信息网格和矿井内壁照片信息进行分析处理，得到矿井内部3D模型。

上述方法涉及点云拼接技术在三维重建中的应用或三维重建技术在煤矿领域的应用，但仍存在一定的局限性，主要在于：1）提出了一种基于立体视觉的煤矿巷道三维重建方法，但采用普通数码摄像机进行照片拍摄，成像效果易受井下恶劣环境影响，进而影响三维重建质量；2）提出了基于多Kinect的人体动态三维重建方法，但由于单台设备扫描范围较小，点云拼接时单台设备获取的局部点云相对于重建目标整体的相对位置信息较难获取，故对大型场景三维重建的适用性较差；3）提出了基于HoloLens眼镜的矿井内部模型采集建立方法，但仅采用第一代HoloLens设备的空间映射功能采集矿井内部结构信息，受限于第一代HoloLens较小的视场角与较低的运算能力，采集到的结构信息精度较低，误差较大；4）上述方法均未将计算机视觉技术应用到煤矿综采装备的三维重建中，大多为对井下物理环境的重建，事实上，对综采装备进行三维重建可为煤矿智能化开采提供很多必要的信息。

发明内容