[发明专利]一种基于深度学习的废钢卸料变化区域自动识别方法

权利要求书

1.一种基于深度学习的废钢卸料变化区域自动识别方法，其特征在于，所述方法包括如下步骤：

S1：通过摄像头获取需检测的目标区域图像并传输给算法服务器；

S2：利用Mask R-CNN算法构建废钢车厢定位模型，将步骤S1获取的目标区域图像输入训练好的废钢车厢定位模型，识别出目标区域图像中废钢车厢位置，并提取废钢车厢区域像素范围；

S3：基于YOLO-v4算法构建废钢卸料抓斗追踪模型，利用训练好的废钢卸料抓斗追踪模型，在步骤S2提取的废钢车厢区域内追踪抓斗运行轨迹，当检测到抓斗离开废钢车厢区域时，以下降沿作为触发，从视频中抓拍抓斗抓取废钢后废钢车厢区域的多帧图像；

S4：利用高斯混合模型对背景建模，采用步骤S3中抓拍的上一次抓取后废钢车厢区域的多帧图像训练高斯混合模型，通过高斯混合模型与当前抓取后废钢车厢区域图像差分运算，识别出废钢抓斗抓取后废钢车厢变化区域，并保存面积最大的变化区域。

2.根据权利要求1所述的基于深度学习的废钢卸料变化区域自动识别方法，其特征在于，所述步骤S2中，废钢车厢定位模型利用ResNet-FPN对目标区域图像进行多尺度特征提取，通过头部网络实现对废钢车厢位置像素级的识别。

3.根据权利要求1所述的基于深度学习的废钢卸料变化区域自动识别方法，其特征在于，所述步骤S2中，所述废钢车厢定位模型的训练包括以下步骤：

S21：采集大规模废钢车图像数据和工业现场视频监控图像数据，对图像数据进行标注，制作训练集V_train、测试集V_test和验证集V_val；

S22：利用优化函数求解模型中的参数，所述优化函数为TensorFlow中的adamoptimizer函数，模型输入图像尺寸为img＝(512,512,3)；

S23：对废钢车厢定位模型进行训练，当Loss值达到需求时停止训练：

Loss＝L_cls+L_box+L_mask

其中，L_cls为分类误差，L_box为检测误差，L_mask为分割误差；

S24：对训练好的模型测试预测效果，若达到需求则保存模型，否则重复步骤S23过程继续训练。

4.根据权利要求1所述的基于深度学习的废钢卸料变化区域自动识别方法，其特征在于，所述步骤S3中，废钢卸料抓斗追踪模型利用CSPdarknet53作为主干特征提取网络，结合SPP网络实现多尺度特征提取。

5.根据权利要求1所述的基于深度学习的废钢卸料变化区域自动识别方法，其特征在于，所述步骤S3中，所述废钢卸料抓斗追踪模型的训练包括以下步骤：

S31：采集大规模废钢抓斗图像数据，包括抓取前、抓取中、抓取后三种状态，对图像数据进行标注，制作训练集Q_train、测试集Q_test和验证集Q_val；

S32：利用优化函数求解模型中的参数，所述优化函数为TensorFlow中的adamoptimizer函数，模型输入图像为img＝(416,416,3)；

S33：对废钢卸料抓斗追踪模型进行训练，当Loss值达到需求时停止训练：

Loss＝L_cls+L_box+L_cfd

其中，L_cls为分类误差，L_box为检测误差，L_cfd为置信度误差；

S34：对训练好的模型测试预测效果，若达到需求则保存模型，否则重复步骤S33过程继续训练。

6.根据权利要求1所述的基于深度学习的废钢卸料变化区域自动识别方法，其特征在于，所述步骤S4中，所述高斯混合模型背景建模包括以下步骤：

S41：存储上一次抓取后废钢车厢区域k帧图像；

S42：高斯混合模型采用上一次抓取后废钢车厢区域k帧图像建模G，图像中位置为(x₀,y₀)的像素点在一段时间内的观测值为：

{X₁,...,X_t}＝{I(x₀,y₀,i):1≤i≤t}

S43：利用多个高斯分布对上式中的观测值进行建模，得到当前像素点的颜色值概率为：

其中，K为高斯分布的个数，ω_i,t为权重的估计值，即t时刻该像素点属于第i个高斯分布的可能性的大小，μ_i,t为t时刻第i个高斯分布的均值，∑_i,t为第i个高斯分布的协方差矩阵，η为高斯分布概率密度函数；像素点颜色值的三个分量(R,G,B)相互独立，并且具有相同的方差，第i个高斯分布的协方差矩阵∑_i,t为

S44：高斯混合模型与当前抓取后图像差分运算：对于输入图像中的像素点(x₀,y₀,t)，将其颜色值与已存在的K个高斯分布相比较，判断其是否与已经存在的高斯分布相匹配，如匹配则该像素点为背景点，判断规则如下：

|(X_t-μ_i,t-1)|＜TH×σ_i,t-1

其中，μ_i,t-1为第i个高斯分布在t-1时刻的均值，TH取2.5，σ_i,t-1为第i个高斯分布在t-1时刻的标准偏差。

S45：输入当前抓取后的废钢车厢区域图像到高斯混合模型G，识别当前抓取后废钢车厢变化区域，保存面积最大的变化区域：

A_change＝max(S(A₁),S(A₂),...,S(A_n))。

其中，A_change为所求矩形变化区域的坐标，S(A₁),S(A₂),...,S(A_n)为每个变化区域的面积。