[发明专利]一种基于图像识别的煤矸石分拣方法

权利要求书

1.一种基于图像识别的煤矸石分拣方法，其特征在于，该方法包括以下步骤：

步骤一、构建煤矸石分拣平台：在运煤机构旁侧设置煤矸石分拣平台，所述运煤机构包括主皮带输送机（1）和与主皮带输送机（1）配合的煤块输送机（10），所述煤矸石分拣平台包括设置在主皮带输送机（1）运料端的振动给料机（2）、设置在主皮带输送机（1）旁侧的煤矸石输送机（11）、以及设置在主皮带输送机（1）尾端且用于将主皮带输送机（1）上的煤矸石（5）抓取至煤矸石输送机（11）上的机械手（9），所述主皮带输送机（1）的机架上且位于振动给料机（2）出料端设置有用于将煤块（4）和煤矸石（5）整理排序的限位门架（3），所述主皮带输送机（1）的机架尾端设置有用于识别煤矸石且与上位机（8）通信的图像采集机构；

步骤二、构建双路可变形CNN模型：构建双路可变形CNN模型，所述双路可变形CNN模型包括依次设置的双路可变形CNN模块、主全连接层一、主全连接层二和输出层，所述双路可变形CNN模块包括并行设置的第一可变形CNN通道和第二可变形CNN通道，主全连接层一同时接收所述第一可变形CNN通道的输出和第二可变形CNN通道的输出；

所述第一可变形CNN通道包括依次设置的第一变形卷积层一、第一激活层一、第一池化层一、第一变形卷积层二、第一激活层二、第一池化层二、第一变形卷积层三、第一激活层三、第一池化层三、第一全连接层一、第一全连接层二；

所述第二可变形CNN通道包括依次设置的第二变形卷积层一、第二激活层一、第二池化层一、第二变形卷积层二、第二激活层二、第二池化层二、第二变形卷积层三、第二激活层三、第二池化层三、第二全连接层一、第二全连接层二；

第一变形卷积层一、第一变形卷积层二、第一变形卷积层三、第二变形卷积层一、第二变形卷积层二、第二变形卷积层三的卷积核大小为5×5、步长为1；第一池化层一、第一池化层二、第一池化层三、第二池化层一、第二池化层二、第二池化层三的池化窗口大小为3×3、步长为2；第一激活层一、第一激活层二、第一激活层三、第二激活层一、第二激活层二、第二激活层三为ReLU激活函数；

步骤三、训练双路可变形CNN模型，过程如下：

步骤301、构建图像数据库：利用图像采集机构采集固定视角的主皮带输送机（1）上多张煤块的标准煤块灰度图像以及不少于1000张煤矸石的训练样本图像，多张训练样本图像构成一个图像数据库，对图像数据库进行随机分类，获得图像训练数据集合和图像测试数据集合；

步骤302、初始化第一变形卷积层一、第一变形卷积层二、第一变形卷积层三、第二变形卷积层一、第二变形卷积层二、第二变形卷积层三中的像素点权重w和像素点偏移量Δpn；

步骤303、调取图像训练数据集合中的一张训练样本图像，并对该图像进行灰度处理，将灰度处理后的训练样本图像送入第一可变形CNN通道，同时对灰度处理后的训练样本图像与一张标准煤块灰度图像进行差分处理，再将差分图像进行二值化处理后送入第二可变形CNN通道，对双路可变形CNN模型进行一次训练；

步骤304、更新第一变形卷积层一、第一变形卷积层二、第一变形卷积层三、第二变形卷积层一、第二变形卷积层二、第二变形卷积层三中的像素点权重w和像素点偏移量Δpn；

步骤305、循环步骤303至步骤304，直至图像训练数据集合中的图像调取完毕，完成双路可变形CNN模型的训练过程，获取第一变形卷积层一、第一变形卷积层二、第一变形卷积层三、第二变形卷积层一、第二变形卷积层二、第二变形卷积层三中的最终像素点权重w和优选像素点偏移量Δpn；

当优选像素点偏移量Δpn为非整数时，对优选像素点偏移量Δpn进行取整处理，获取最终的像素点偏移量Δpn；

当优选像素点偏移量Δpn为整数时，优选像素点偏移量Δpn即为最终的像素点偏移量Δpn；

步骤306、在图像测试数据集合中调取训练样本图像，对双路可变形CNN模型进行测试，获取训练并测试完成的双路可变形CNN模型；

步骤四、煤矸石框选：图像采集机构现场采集运煤实际图像，并对运煤实际图像进行灰度处理，将灰度处理后的运煤实际图像送入训练完成的双路可变形CNN模型中，其中，灰度处理后的运煤实际图像一路进入第一可变形CNN通道，另一路与一张标准煤块灰度图像进行差分处理，再将差分图像进行二值化处理后送入第二可变形CNN通道，经主全连接层一、主全连接层二和输出层后识别煤矸石对应像素在输出图像上的位置，当双路可变形CNN模型未识别出煤矸石对应像素在输出图像上的位置时，该运煤实际图像上没有煤矸石，执行步骤五；当双路可变形CNN模型识别出煤矸石对应像素在输出图像上的位置时，该运煤实际图像上存在煤矸石，利用选框对输出图像上煤矸石对应像素进行框选，执行步骤六；

步骤五、煤块输送：机械手（9）不工作，煤块（4）从主皮带输送机（1）掉落至煤块输送机（10）上，利用煤块输送机（10）实现对煤块（4）的运输；

步骤六、煤矸石分拣：在运煤实际图像上查找选框所在像素位置，利用选框在运煤实际图像上框选煤矸石，将煤矸石区域进行二值化处理，即白色部分为煤矸石区域，黑色部分为背景区域，从而得到煤矸石的二值化图像，根据公式，计算二值化后的煤矸石图像的重心坐标，其中，为二值化后的煤矸石图像的0次力矩，为二值化后的煤矸石图像区域x方向的一阶矩，为二值化后的煤矸石图像区域y方向的一阶矩；

以重心坐标为基准，得到煤矸石的二值化图像中煤矸石区域的短轴，煤矸石区域中短轴的位置为机械手（9）分选煤矸石提供了抓取的参考位置；

机械手（9）从煤矸石的短轴位置抓取煤矸石（5）至煤矸石输送机（11）上，利用煤矸石输送机（11）将分拣的煤矸石（5）与煤块（4）分离，实现煤矸石（5）的分拣；

步骤四中，将灰度处理后的运煤实际图像送入训练完成的双路可变形CNN模型中，其中，另一路与一张标准煤块灰度图像进行差分处理之前，先根据公式，进行光照补偿处理，获取补偿后的运煤实际图像，其中，为灰度处理后的运煤实际图像，为用于亮度增强的指数值且，为光照分量，为光照分量的亮度均值；

步骤四中，将灰度处理后的运煤实际图像送入训练完成的双路可变形CNN模型中，其中，另一路与一张标准煤块灰度图像进行差分处理之前，先进行光照补偿处理，再进行无关像素剔除处理，最后再与一张标准煤块灰度图像进行差分处理；

步骤四中，将灰度处理后的运煤实际图像送入训练完成的双路可变形CNN模型中，其中，另一路与一张标准煤块灰度图像进行差分处理之前，先进行光照补偿处理，再通过Lucas-Kanade光流法进行无关像素剔除处理。