[发明专利]一种陆空两栖无人车自动模态切换与地面避障的训练方法

说明书

本发明提出了一种陆空两栖无人车自动模态切换与地面避障的训练方法，该方法包括：步骤1)基于Gazebo仿真器构建训练场景；步骤2)基于机器学习强化学习原理，将路空两栖无人车在训练场景中获取的感知信息输入决策神经网络，采用∈贪婪方法与好奇心驱动结合的策略规划行进轨迹及切换运动模态，将动作指令传入Gazebo仿真器指挥无人车运动；步骤3)将运动相关数据存入经验池，基于n步时序差分法从经验池中随机抽取若干组数据对决策神经网络进行优化；转至步骤2)直至无人车触发终止条件或满足预设的训练步长，则终止一个训练周期；步骤4)当未达到训练周期总数，转至步骤1)开始一个新的训练周期，否则得到训练好的决策神经网络。

技术领域

本发明属于智能驾驶技术领域，涉及多模态载具行进间运动模态自动切换问题，尤其涉及一种陆空两栖无人车自动模态切换与地面避障的训练方法。

背景技术

随着立体交通的推广，以及现有地面行驶载具因其地面驾驶属性无法从根本上解决交通运输中拥堵问题，陆空两栖车应运而生。陆空两栖车是一种包含飞行和地面行驶两种运动模态的载具，可依据安全性，行进稳定性，能耗等因素切换行进模态，但是受到多种因素制约，例如模态切换可靠性较低，存在模态切换不合理，安全性不足等问题。

由于强化学习基于机器学习原理，并遵循马尔可夫决策过程，因此需要大量的数据支持决策器中神经网络的训练和多模态切换策略的优化。传统的数据采集方式往往需要驾驶员在现实的环境中驾驶车辆，通过传感器收集训练所需数据，这种采集方式需要耗费大量的时间和人力资源，方可采集足以支撑训练的数据。而驾驶员的人为干预，同样会导致被采集的数据有较强的局限性，对极端情况的覆盖率较低。

发明内容

本发明的目的在于克服现有技术缺陷，提出了一种陆空两栖无人车自动模态切换与地面避障的训练方法。本申请基于人工智能方式自动切换两栖车行进模态同时兼顾地面行驶自动避障的方法。由于决策模型的稳定性和合理性是目前两栖载具自动切换模态的主要障碍，基于机器学习的强化学习方法为该问题提供了有效的解决方案。换言之，基于强化学习的人工智能模态切换器可以依据当前环境，自适应地自动选择有利的行进模态。基于仿真环境的数据采集方式可以快速提供充足且优质的数据，短时间产生成熟的模态切换策略。

为了实现上述目的，本发明提出了一种陆空两栖无人车自动模态切换与地面避障的训练方法，所述方法包括：

步骤1)基于Gazebo仿真器构建包括路空两栖无人车、障碍物锥筒和墙体的训练场景；

步骤2)基于机器学习强化学习原理，将路空两栖无人车在训练场景中获取的当前时刻感知信息输入决策神经网络，采用∈贪婪方法与好奇心驱动方法相结合的策略规划行进轨迹并判断是否需要切换运动模态，将动作指令传入Gazebo仿真器，指挥Gazebo仿真器中的路空两栖无人车进行运动；

步骤3)将每一步的运动相关数据存入经验池，基于n步时序差分法从经验池中随机抽取若干组数据对决策神经网络进行优化；转至步骤2)，直至路空两栖无人车触发终止条件或满足预设的训练步长，则终止一个训练周期；

步骤4)当未满足预设的训练周期总数，转至步骤1)开始一个新的训练周期，否则得到训练好的决策神经网络。

作为上述方法的一种改进，所述步骤1)包括：

随机生成若干个障碍物锥筒，其随机分布于设定长宽尺寸的墙体长方形区域内；

设定陆空两栖无人车运动的固定起点和固定终点；

设定陆空两栖无人车的运动范围不可超出墙体长方形区域，行进过程中，可自由切换飞行和地面行驶两种运动模态，当与障碍物锥筒或墙体发生碰撞则判定失败。

作为上述方法的一种改进，所述陆空两栖无人车的运动动作包括七种有效动作，在地面行驶模态下，动作[0,1,2,3,4,5]为有效动作，在飞行模态下，动作[5,6]为有效动作，其中，