[发明专利]轮斗挖掘机的挖掘流量自动控制方法及其系统

权利要求书

1.一种轮斗挖掘机的挖掘流量自动控制方法，其特征在于，包括：

获取由第一摄像头和第二摄像头采集的多个时间点的检测泥土的第一图像和第二图像，其中，所述第一图像为所述检测泥土的俯视图像，所述第二图像为所述检测泥土的侧视图像；

将所述各个时间点的第一图像和第二图像分别通过训练完成的具有深浅特征融合模块的卷积神经网络模型以得到俯视视角特征图和侧视视角特征图；

分别对所述俯视视角特征图和所述侧视视角特征图的沿通道维度的特征矩阵进行全局均值池化以得到俯视视角特征向量和侧视视角特征向量；

计算所述俯视视角特征向量的转置向量和所述侧视视角特征向量之间的乘积以得到对应于各个时间点的解码特征矩阵；

将所述对应于各个时间点的解码特征矩阵通过训练完成的解码器进行解码回归以得到用于表示各个时间点的检测泥土的重量值的解码值；

计算所述用于表示各个时间点的检测泥土的重量值的解码值的加和值；以及

基于所述加和值与预设阈值之间的比较，确定是否停止传输泥土；

其中，所述将所述各个时间点的第一图像和第二图像分别通过训练完成的具有深浅特征融合模块的卷积神经网络模型以得到俯视视角特征图和侧视视角特征图，包括：

将所述第一图像和所述第二图像分别输入所述卷积神经网络模型以从所述卷积神经网络模型的浅层提取第一浅层特征图和第二浅层特征图以及从所述卷积神经网络模型的深层提取第一深层特征图和第二深层特征图；

使用所述深浅特征融合模块来将所述第一浅层特征图和所述第一深层特征图进行级联以得到所述俯视视角特征图以及将所述第二浅层特征图和所述第二深层特征图进行级联以得到所述侧视视角特征图；

其中，所述将所述对应于各个时间点的解码特征矩阵通过解码器进行解码回归以得到用于表示各个时间点的检测泥土的重量值的解码值，包括：使用所述解码器的多个全连接层以如下公式对所述对应于各个时间点的解码特征矩阵进行解码回归以获得所述解码值，其中，所述公式为：其中X是所述对应于各个时间点的解码特征矩阵，Y是所述解码值，W是权重矩阵，表示矩阵乘。

2.根据权利要求1所述的轮斗挖掘机的挖掘流量自动控制方法，其特征在于，所述获取由第一摄像头和第二摄像头采集的多个时间点的检测泥土的第一图像和第二图像，包括：

响应于泥土探测器检测到所述检测泥土的存在，启动所述第一摄像头和所述第二摄像头。

3.根据权利要求2所述的轮斗挖掘机的挖掘流量自动控制方法，其特征在于，所述卷积神经网络模型的浅层为4-6层，所述卷积神经网络模型的深层和浅层之间的比值大于等于10。

4.根据权利要求1所述的轮斗挖掘机的挖掘流量自动控制方法，其特征在于，还包括对所述卷积神经网络模型和所述解码器进行训练；

其中，所述对所述卷积神经网络模型和所述解码器进行训练，包括：

获取训练数据，所述训练数据包括由所述第一摄像头和所述第二摄像头采集的检测泥土的训练第一图像和训练第二图像，以及所述检测泥土的重量值的真实值，其中，所述训练第一图像为所述检测泥土的俯视图像，所述训练第二图像为所述检测泥土的侧视图像；

将所述训练第一图像和所述训练第二图像分别通过所述具有深浅特征融合模块的卷积神经网络模型以得到训练俯视视角特征图和训练侧视视角特征图；

分别对所述训练俯视视角特征图和所述训练侧视视角特征图的沿通道维度的特征矩阵进行全局均值池化以得到训练俯视视角特征向量和训练侧视视角特征向量；

计算所述训练俯视视角特征向量的转置向量和所述训练侧视视角特征向量之间的乘积以得到训练解码特征矩阵；

将所述训练解码特征矩阵通过所述解码器以得到解码损失函数值；

计算所述训练俯视视角特征向量和所述训练侧视视角特征向量的上下文统计的局部场景度量损失函值；以及

以所述上下文统计的局部场景度量损失函值和所述解码损失函数值的加权和作为损失函数值对所述卷积神经网络模型和所述解码器进行训练。