[发明专利]一种基于深度学习的废钢判级方法

权利要求书

1.一种基于深度学习的废钢判级方法，其特征在于，包括以下步骤：

(1)采集多个整车废钢卸载的视频数据，从每个视频数据中抽取多个关键图像帧后对废钢等级进行人工标注，使用数据扩增的方法对图像帧进行扩充，并将扩充后的数据集随机划分为训练集和测试集；

(2)将训练集和测试集中的所有图片归一化；

(3)构建判级模型，所述的判级模型包括时空信息分离网络和改进的时间信息融合网络；其中，所述的时空信息分离网络用于从输入的图片中提取一系列高维特征，在整车废钢全部卸载后，将时空信息分离网络提取的特征输入改进的时间信息融合网络，获得整车判级结果；

(4)利用训练集对判级模型进行训练，得到训练完成的判级模型；

(5)对于待判级的废钢，利用摄像机拍摄整车废钢卸载的视频，截取视频帧输入训练完的判级模型，得到最终的废钢判级结果。

2.根据权利要求1所述的基于深度学习的废钢判级方法，其特征在于，步骤(1)中，使用数据扩增的方法具体为：对图片随机采用随机旋转、水平翻转和随机裁剪方法中的一种，进行数据扩增。

3.根据权利要求1所述的基于深度学习的废钢判级方法，其特征在于，将扩充后的数据集的80％作为训练集，20％作为测试集。

4.根据权利要求1所述的基于深度学习的废钢判级方法，其特征在于，步骤(2)中，将训练集和测试集中的所有图片归一化的具体步骤为：

首先对训练集进行零均值化，即计算特征的均值其中X⁽ⁱ⁾表示训练集中的第i个数据；再用X-μ代替原训练集X，使得训练集中的每个数据特征的均值为0；接着对零均值化后的训练集进行归一化方差，即计算特征的方差其中X′⁽ⁱ⁾表示零均值化后的训练集中的第i个数据，再用代替零均值化后的训练集X′，使得训练集中的每个数据特征的方差为1；此外，对于测试集采用相同的归一化方法，并且需要采用与训练集相同的μ和σ²。

5.根据权利要求1所述的基于深度学习的废钢判级方法，其特征在于，步骤(3)中，所述的时空信息分离网络采用ResNet50网络，以拍摄同一辆车厢上的废钢的一组关键图像帧为单次的输入，假设每次输入n张RGB三通道图片，大小为h×w，则先通过ResNet50提取图片中废钢的等级分布信息，得到n个大小为n_H×n_W、通道数为n_C的特征图，再经过特征拼接得到了一辆车厢上的废钢特征信息。

6.根据权利要求1所述的基于深度学习的废钢判级方法，其特征在于，所述改进的时间信息融合网络具体结构如下：

首先使用4个带有n×1×1的卷积核算子的3DCNN处理时空信息分离网络中得到的特征，其中3D卷积层的步长为1，填充为1×0×0；接着再用一个2D池化层对3DCNN的输出进行最大池化；最后用展平层和全连接层处理池化层的输出，得到该车厢上废钢的分类结果，具体输出为一个onehot形式的主料种类向量。

7.根据权利要求1所述的基于深度学习的废钢判级方法，其特征在于，步骤(4)中，对判级模型进行训练时使用反向传播算法。

8.根据权利要求1所述的基于深度学习的废钢判级方法，其特征在于，步骤(5)中，得到最终的废钢判级结果转换为固定格式的文档或输出到终端。