[发明专利]一种无人车全局路径规划方法和装置

说明书

本发明公开了一种无人车全局路径规划方法和装置，该方法包括：通过强化学习方法建立对象模型，对象模型中包括：无人车状态、采用地图图片进行描述的环境状态、以及路径规划结果的评估指标；基于对象模型，搭建深度强化学习神经网络，并利用无人车状态和地图图片对深度强化学习神经网络进行训练，得到稳定的神经网络模型；启动路径规划后，将当前任务场景下的环境状态的地图图片和无人车状态输入到训练后的深度强化学习神经网络中，根据深度强化学习神经网络输出的路径规划结果的评估指标，生成无人车的运动路径。本发明通过地图图片标识场景中的环境信息，通过深度神经网络提取地图特征，简化了对地图场景的建模过程。

技术领域

本发明涉及无人车全局路径规划领域，具体涉及一种无人车全局路径规划方法和装置。

背景技术

近年来，无人车在智能制造和物流领域的应用逐步推广普及，有效的提高了生产、制造和搬运环节的运输效率，减轻人力工作负担。其中，全局路径规划方法引导无人车在工作场景内搜索最佳路径，能够提高无人车的工作效率，避免产生碰撞等问题。常见的路径规划算法，例如A*算法，人工势场法等方法，存在计算代价高，容易陷入局部最小解等问题。基于深度强化学习方法的人工智能算法，能够不依赖人工进行轨迹标记，适用于动态变化的场景。深度强化学习方法将强化学习和深度神经网络相结合，其中强化学习主要采用试错(trial and error)方法搜寻最优策略，深度神经网络有助于强化学习解决高维空间输入和动作空间连续等问题。同时，随着深度神经网络在图像分类和识别领域的迅速发展，通过深度神经网络能够准确提取地图图片的特征并有效表达信息。以上工作为基于地图图片和无人车状态实现全局路径规划提供了理论基础。

然而，在无人车全局路径规划实现过程中，目前仍然存在建模困难，神经网络模型训练时间长、模型性能差等一系列问题。

发明内容

鉴于上述问题，本发明实施例提出了一种无人车全局路径规划方法和装置，以便解决或者部分解决上述问题。

依据本发明实施例的一个方面，提供了一种无人车全局路径规划方法，该方法包括：

通过强化学习方法建立用于描述无人车路径规划的序列决策过程的对象模型，对象模型中包括：无人车状态、采用地图图片进行描述的环境状态、以及路径规划结果的评估指标；

基于建立的对象模型，搭建深度强化学习神经网络，并利用无人车状态和环境状态的地图图片对深度强化学习神经网络进行训练，直至得到稳定的神经网络模型；

启动路径规划后，将当前任务场景下的环境状态的地图图片和无人车状态输入到训练后的深度强化学习神经网络中，根据深度强化神经网络输出的路径规划结果的评估指标，生成无人车的运动路径。

依据本发明实施例的又一方面，提供了一种无人车全局路径规划装置，该装置包括：

建模单元，用于通过强化学习方法建立用于描述无人车路径规划的序列决策过程的对象模型，对象模型中包括：无人车状态、采用地图图片进行描述的环境状态、以及路径规划结果的评估指标；

训练单元，用于基于建立的对象模型，搭建深度强化学习神经网络，并利用无人车状态和环境状态的地图图片对深度强化学习神经网络进行训练，直至得到稳定的神经网络模型；

实施单元，用于启动路径规划后，将当前任务场景下的环境状态的地图图片和无人车状态输入到训练后的深度强化学习神经网络中，根据深度强化神经网络输出的路径规划结果的评估指标，生成无人车的运动路径。

本发明实施例通过强化学习方法建立用于描述无人车路径规划的序列决策过程的对象模型，基于该对象模型搭建深度强化学习神经网络，则在启动路径规划后，将当前任务场景下的环境状态的地图图片和无人车状态输入到训练后的深度强化学习神经网络中，即可生成无人车的运动路径，从而实现了基于地图图片的无人车全局路径规划。