[发明专利]深度点云融合的矿井液压支架群位姿三维重建方法

权利要求书

1.一种深度点云融合的矿井液压支架群位姿三维重建方法，其特征在于，包括：

定位扫描阶段，利用HoloLens2的SpatialAwareness功能对液压支架群进行扫描并进行三维重建，获取三维点云模型；

修补扫描阶段，使用多台Azure Kinect DK设备对液压支架群进行扫描并获取关键部位点云模型；

点云注册融合，对定位扫描阶段获取的点云与修补扫描阶段获取的点云进行拼接；

点云逆向建模，以支架群三维点云为基础建立支架群三维模型。

2.根据权利要求1所述的深度点云融合的矿井液压支架群位姿三维重建方法，其特征在于，在利用HoloLens2的SpatialAwareness功能对液压支架群进行扫描并进行三维重建，获取三维点云模型的步骤中，包括步骤：

步骤101：在计算机中利用Unity3D 2019中MRTK工具编写三维重建程序，为预制体添加C#手势操作脚本作为扫描事件的触发条件；通过C#参数设置脚本设定扫描频率及扫描精细程度；

步骤102：在Visual Studio 2019中编译步骤101中所述三维重建程序并部署至HoloLens2设备中；

步骤103：操作者佩戴HoloLens2设备运行步骤101中所述三维重建程序，通过手势操作触发扫描，围绕液压支架群行走并观察液压支架，以使Hololens2能够对液压支架群进行扫描与重建；

步骤104：扫描重建完成后，通过步骤101中所述计算机访问设备门户，在3D视图界面更新重建结果并保存为.obj格式三维模型；

步骤105：经pcl处理将.obj格式三维模型转化为.pcd格式三维点云。

3.根据权利要求1所述的深度点云融合的矿井液压支架群位姿三维重建方法，其特征在于，在使用多台Azure Kinect DK设备对液压支架群进行扫描并获取三维点云的步骤中，包括步骤：

步骤201：在液压支架群中第5k（k=1，2，3，…）台支架顶梁下架设多台Azure Kinect DK设备，放置于旋转云台上；将多Azure Kinect DK设备以菊花链配置方式通过音频线完成设备连接，设置每台深度相机捕获的时间差至少有160微秒，以确保不会相互干扰；

步骤202：在控制台中，利用Azure Kinect SDK工具k4ARecorder录制RGB-D视频流，以.mkv格式保存；

步骤203：提取步骤202中所述视频流中关键帧，得到RGB图像和深度图像组；

步骤204：将步骤203中所述RGB图像和深度图像组转化为xyz点云坐标，保存为.pcd格式点云；

步骤205：利用pcl点云库对步骤204中所述点云进行滤波降噪处理，得到每台支架的关键部位点云模型。

4.根据权利要求3所述的深度点云融合的矿井液压支架群位姿三维重建方法，其特征在于，所述旋转云台是液压支架上原有的监控相机所配置的旋转云台，将Azure Kinect DK设备与之绑定；

所述菊花链配置是多Azure Kinect DK设备的连接方式，即以第一台Azure Kinect DK设备为主设备，其余为从属设备，依次连接，最后一个设备只连接一根线缆，其输出同步端口为空；主设备连接到计算机，负责提供从属设备的触发信号；录制时，先启动从属设备，再启动主设备。

5.根据权利要求3所述的深度点云融合的矿井液压支架群位姿三维重建方法，其特征在于，点云滤波的步骤包括：

利用直通滤波算法去除支架群外的多余点，采用统计滤波算法去除离群点和噪声，采用体素滤波算法进行点云下采样处理。

6.根据权利要求3所述的深度点云融合的矿井液压支架群位姿三维重建方法，其特征在于，所述关键部位点云模型是处于顶梁下的Azure Kinect DK设备扫描到的立柱、掩护梁内表面、四连杆以及顶梁部分内表面点云。