[发明专利]一种基于分层滚动优化的自动驾驶多任务协调决策方法

说明书

本发明涉及一种基于分层滚动优化的自动驾驶多任务协调决策方法，利用自动驾驶车辆环境状态信息作为强化学习决策框架的输入，将驾驶目标规划为多个驾驶任务的衔接，以实现多任务间的协调；将各个驾驶任务分别具体化为控制动作，但仅执行第一个驾驶任务的控制动作；然后滚动向前进入下一时间步，基于更新的自动驾驶车辆环境状态信息再次进行规划和控制动作的执行；如此反复进行规划，实现滚动优化决策。该方法能够进行多驾驶任务协调，适用于复杂驾驶场景中的自动驾驶长期决策。

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种基于分层滚动优化的自动驾驶多任务协调决策方法。

背景技术

智能驾驶正处于飞速发展的时期，各种控制决策方法层出不穷。经典控制方法由于其稳定性和成熟的实践经验得到了广泛的应用，并不断改善自身适应日益增长的技术需求。然而当经典方法覆盖了大部分的控制场景时，剩下的极端场景却是经典方法无法解决的领域。此时强化学习展现出强大的生命力，并不断在各个场景和功能中取代原有的经典控制方法。

在强化学习蓬勃发展的同时，也面临着难以投入实际使用的现实问题。强化学习或者深度学习难以迁移到训练场景或者数据意外的情形，这限制了其广泛的应用。同时对于训练场景的设置和训练数据的需求比较严格，依赖于人对于数据的筛选和标注。

专利CN114170488A公开了一种基于条件模仿学习和强化学习的自动驾驶方法，解决了随机初始化导致的强化学习探索效率低下的问题，但是模仿学习的应用没有解决算法对于标签数据的依赖性。专利CN115629608A公开了一种基于深度预测网络和深度强化学习的自动驾驶车辆控制方法，进一步考虑了车辆之间的交互对车辆轨迹预测的影响。然而更加复杂的驾驶场景中需要长期决策，并且端到端的控制损失了可解释性。专利CN114013443B公开了一种基于分层强化学习的自动驾驶车辆换道决策控制方法，将整个自动驾驶任务划分为决策和控制两层。分阶段的驾驶任务规划使得自动驾驶控制具有可解释性，然而该方案的可迁移性有待讨论验证。

发明内容

本发明的目的在于提供一种基于分层滚动优化的自动驾驶多任务协调决策方法，该方法能够进行多驾驶任务协调，适用于复杂驾驶场景中的自动驾驶长期决策。

为了实现上述目的，本发明采用的技术方案是：一种基于分层滚动优化的自动驾驶多任务协调决策方法，利用自动驾驶车辆环境状态信息作为强化学习决策框架的输入，将驾驶目标规划为多个驾驶任务的衔接，以实现多任务间的协调；将各个驾驶任务分别具体化为控制动作，但仅执行第一个驾驶任务的控制动作；然后滚动向前进入下一时间步，基于更新的自动驾驶车辆环境状态信息再次进行规划和控制动作的执行；如此反复进行规划，实现滚动优化决策。

进一步地，该方法包括以下步骤：

步骤S1、利用视觉传感器获得自动驾驶车辆周围的原始图像，对图像进行处理并获取其中的周围车辆和障碍物信息；将周围车辆和障碍物信息与本车信息、地图信息构成自动驾驶车辆环境状态信息并表示成高维环境状态鸟瞰图；将高维环境状态鸟瞰图输入神经网络框架，提取环境状态信息的低维表示，得到低维环境状态信息，以简化强化学习决策框架的输入信息；

步骤S2、将低维环境状态信息输入强化学习决策框架，通过强化学习决策框架进行多任务决策，得到决策动作，即多个驾驶任务的组合串行；在此基础上，决策各个驾驶任务的控制动作序列，即控制动作的组合串行；控制动作由动作单元库中的动作单元组成；

步骤S3、当决策动作和控制动作序列被规划之后，仅执行第一个驾驶任务对应的动作单元序列；

步骤S4、滚动向前进入下一时间步，重复步骤S1-S3，更新自动驾驶车辆环境状态信息，并基于此再次进行决策和决策更新后第一个驾驶任务的动作单元序列的执行；如此反复进行规划，实现滚动优化决策。