[发明专利]一种基于特征融合和时空约束的无人驾驶工程机械决策方法

说明书

本发明公开一种基于特征融合和时空约束的无人驾驶工程机械决策方法，包括：采集工程机械行驶图像、三维点云数据和决策所需的数据，建立基于卷积模块和多头自注意力模块相融合的时空决策网络，多头自注意力模块提取图像全局特征，卷积模块提取局部特征，LSTM网络提取时间特征，与PointNet特征提取网络获得的点云特征和全局规划算法生成的规划指令进行融合，构建时空约束网络的框架。根据采集的双目图像和点云数据，全局路径规划算法的规划指令，时空决策网络直接输出左右履带电信号值传输到工程机械控制系统，从而实现行驶。本发明根据双目图像提取时空特征，考虑了图像前后帧之间的关系，再与点云特征进行特征融合，弥补了单一传感器获取信息失效和不足的情况，可以保证工程机械安全而可靠的行驶。

技术领域

本发明涉及智能机器人领域，具体涉及一种基于特征融合和时空约束的无人驾驶工程机械决策方法。

背景技术

工程机械应用非常广泛，有的可能运用于山区里比较平坦的区域，有的运用于矿山、高原、南北极等环境比较恶劣的地形，以及地震、泥石流以及辐射等救灾抢险的恶劣工况中。传统工程机械以内燃机为驱动，普遍存在污染物排放高、噪声大和效率低等问题，电动工程机械具有零排放、低噪声和传动效率高等优点，在克服上述问题的基础上方便了工程机械智能化的发展。由于工程机械工作环境恶劣，对驾驶员的身体各方面的素质要求非常高，随时可能给驾驶员的生命造成危险，通过无人驾驶技术对车辆进行控制，在作业时自主对环境进行感知并做出决策，极大的降低了操作人员的作业风险，减少了劳动力的浪费，提高了作业效率。

目前无人驾驶决策技术主要应用在汽车领域，主要可以分为两大类：基于规则的决策和基于学习算法的端到端决策，基于学习算法的端到端决策主要是基于深度学习和深度强化学习的方法。基于规则的决策非常简单，只需根据驾驶场景制定一系列的规则，但是规则的制定无法穷尽，且无法适用于复杂的场景；基于深度强化学习的无人驾驶决策方法通过和环境不断的交互，来获得数据进行训练，无需制作数据集和标注，但是深度强化学习算法存在收敛慢，难以设计合适的奖励函数等问题。

同时，现在的端到端方法一般使用单一传感器，直接输入原始数据，通过卷积神经网络输出车辆的方向盘转角或者其他连续控制信号。但单一传感器出现难免失效或者获取的周围环境信息不足的情况，从而使得车辆的决策输出并不安全可靠。

发明内容

本发明针对上述问题，提出了一种基于特征融合和时空约束的无人驾驶工程机械决策方法，使用多传感器提取特征，基于卷积模块和自注意力模块相融合，考虑时间约束和空间约束，能够弥补现有端到端决策方法使用单一传感器获取信息不足和失效以及传统的基于规则的决策方法不可能充分覆盖所有场景的缺陷；同时补充无人驾驶决策技术在履带式工程机械方面的缺失。

本发明为解决上述技术问题采取的技术方案是：一种基于特征融合和时空约束的无人驾驶工程机械决策方法，该方法包括以下步骤：

一种基于特征融合和时空约束的无人驾驶工程机械决策方法，其特征在于，包括以下步骤：

步骤1、利用设置在履带式工程机械上的多线激光雷达和双目摄像头采集数据，同时记录同一时刻的行驶决策数据；采集数据的数据集内包括在t_n时刻摄像头采集的双目图像和在t_n时刻多线激光雷达采集的点云数据，n＝1，2，…M，M代表时刻总数；

步骤2、将采集的双目图像输入到预训练好的YOLOv5网络，利用预训练好的YOLOv5网络输出双目图像中目标的位置信息，将预测的位置信息分别绘制到对应图像上，获得新图像；将采集的点云数据输入到预训练好的PointNet网络进行点云特征提取，得到点云数据的特征；。

步骤3、根据行驶任务，全局路径规划算法规划到达目的地的合理路径，生成规划指令；