[发明专利]一种基于多源信息融合的矸石分拣方法和系统

权利要求书

1.一种基于多源信息融合的矸石分拣系统，其特征在于，包括：机械臂、线激光传感器、红外相机、光源、分流器、工控机；

所述机械臂，用于抓取矸石；

所述红外相机与线激光传感器安装在运送煤与矸石的传送带上方；

所述线激光传感器，用于获取煤和矸石点云数据；

所述红外相机，用于获取煤和矸石图像；

所述光源，用于为红外相机打光；

所述分流器，用于将上流煤和矸石分流，使煤和矸石能分列进入传送带；

所述工控机，用于控制系统各部件运行。

2.根据权利要求1所述的一种基于多源信息融合的矸石分拣系统的一种基于多源信息融合的矸石分拣方法，其特征在于，包括：

步骤1：基于卷积神经网络搭建矸石特征提取模型，并训练矸石特征提取模型；

步骤2：利用红外相机获取传送带上的煤与矸石图像，利用线激光传感器获取煤与矸石点云；

步骤3：将煤与矸石图像输入矸石特征提取模型，利用矸石特征提取模型获取矸石位置；

步骤4：将矸石位置映射到煤矸石点云，利用分割算法，获取单个矸石点云；

步骤5：利用PCA主成分分析法生成单个煤矸石点云最小包围盒，进而获得矸石姿态；

步骤6：结合矸石位置与姿态，控制机械臂到达对应位置，并调整机械臂姿态，对矸石进行夹取。

3.根据权利要求2所述的一种基于多源信息融合的矸石分拣方法，其特征在于，所述步骤1具体包括：

步骤101：收集并筛选有效矸石图像数据集，将其划分为训练集和测试集；

步骤102：标注出图像中的矸石；

步骤103：基于卷积神经网络搭建矸石特征提取模型；

步骤104：利用训练集对矸石特征提取模型进行训练，并利用测试集验证矸石特征提取模型的效果。

4.根据权利要求3所述的一种基于多源信息融合的矸石分拣方法，其特征在于，所述步骤102，利用labelme工具标注出图像中的矸石。

5.根据权利要求3所述的一种基于多源信息融合的矸石分拣方法，其特征在于，所述步骤103，基于Faster R-CNN搭建矸石特征提取模型，其结构为：主干网络→RPN模块→检测头。

6.根据权利要求2所述的一种基于多源信息融合的矸石分拣方法，其特征在于，所述步骤2具体包括：

步骤201：利用红外相机收集传送带上煤与矸石图像，利用线激光传感器获取每线点云；

步骤202：利用传送带匀速的特性，将线激光传感器获取的每线点云根据指定间距拼接，得到完整的煤与矸石点云。

7.根据权利要求2所述的一种基于多源信息融合的矸石分拣方法，其特征在于，所述步骤4具体包括：

步骤401：通过标定红外相机与线激光传感器，使红外相机与线激光传感器处于同一坐标系下，使图像位置可以映射至点云；

步骤402：利用分割算法，将识别框内法向变化率大于指定阈值的点云剔除，通过欧式聚类分割法，得到单个矸石点云。