[发明专利]一种驾驶决策方法及装置

说明书

本申请涉及自动驾驶领域，公开了一种驾驶决策方法及装置，用以提高驾驶决策策略的鲁棒性，保障输出的决策结果最优。该方法包括：基于当前驾驶环境状态构建蒙特卡洛树，所述蒙特卡洛树包括根节点和N‑1个非根节点，每个节点表示一个驾驶环境状态，其中根节点表示所述当前驾驶环境状态，任一非根节点表示的驾驶环境状态，通过驾驶环境随机模型基于所述非根节点的父节点表示的驾驶环境状态，以及所述非根节点的父节点扩展所述非根节点的驾驶动作预测得到；根据蒙特卡洛树中每个节点的访问次数和/或值函数，在蒙特卡洛树中确定一个从所述根节点开始至叶子节点结束的节点序列；根据所述节点序列中各个节点所对应的驾驶动作，确定驾驶动作序列。

技术领域

本申请实施例涉及自动驾驶领域，尤其涉及一种驾驶决策方法及装置。

背景技术

随着自动驾驶时代的到来，具有自动驾驶功能的智能车辆成为各大厂商研究的重点。目前，自动驾驶包括辅助驾驶和完全自动驾驶，其实现的关键技术有：环境感知、驾驶决策以及控制执行等。其中，驾驶决策根据感知到的交通参与者信息，给出驾驶动作，供车辆执行。

目前，驾驶决策通常是基于强化学习(deep Q network，DQN)算法实现的，通过DQN算法构建的DQN模型，对大量车辆在某一时刻的驾驶环境状态(如自身车辆速度、相邻车辆速度等)，以及车辆驾驶者基于该时刻的驾驶环境状态输出的驾驶动作(如向左变道、向右变道等)进行学习。在驾驶决策时，即可根据车辆当前的驾驶环境状态，通过DQN模型，得到自动驾驶车辆需要执行的驾驶动作。

然而，基于DQN模型的驾驶决策，在输出驾驶动作时，未考虑到输出的驾驶动作对车辆后续驾驶的影响，难以保证输出的决策结果最优。

发明内容

本申请实施例提供一种驾驶决策方法及装置，用以提高驾驶决策策略的鲁棒性，保障输出的决策结果最优。

第一方面，本申请实施例提供了一种驾驶决策方法，该方法包括：基于当前驾驶环境状态构建蒙特卡洛树，其中所述蒙特卡洛树包含N个节点，每个节点表示一个驾驶环境状态，所述N个节点包括根节点和N-1个非根节点，其中所述根节点表示所述当前驾驶环境状态，第一节点表示的驾驶环境状态，通过驾驶环境随机模型基于所述第一节点的父节点表示的驾驶环境状态，以及第一驾驶动作预测得到，其中，所述第一驾驶动作为所述第一节点的父节点在扩展所述第一节点的过程中确定的驾驶动作(也即所述第一驾驶动作为所述第一节点的父节点扩展所述第一节点的驾驶动作)，所述第一节点为所述N-1个非根节点中的任意一个节点，所述N为大于或等于2的正整数；根据所述蒙特卡洛树中每个节点的访问次数和/或值函数，在所述蒙特卡洛树中确定一个从所述根节点开始至叶子节点结束的节点序列；根据所述节点序列中包含的各个节点所对应的驾驶动作，确定驾驶动作序列，所述驾驶动作序列用于驾驶决策；其中，所述每个节点的访问次数，根据所述节点的子节点的访问次数以及所述节点的初始访问次数确定，所述每个节点的值函数，根据所述节点的子节点的值函数和所述节点的初始值函数确定，其中，所述每个节点的初始访问次数为1、初始值函数根据与所述节点表示的驾驶环境状态匹配的值函数确定。

采用上述方法，通过驾驶环境随机模型，可以预测自动驾驶车辆在未来一段时间内多步驾驶动作可能面临的各种驾驶环境状态，构建蒙特卡洛树，并基于自动驾驶车辆在未来一段时间内多步驾驶动作可能面临的各种驾驶环境状态，确定最有利于车辆行驶的驾驶动作序列，提高了驾驶决策策略的鲁棒性，有利于保障输出的决策结果最优。

在一个可能的设计中，通过所述驾驶环境随机模型基于所述第一节点的父节点表示的驾驶环境状态，以及所述第一驾驶动作，预测得到所述第一节点表示的驾驶环境状态，包括：通过所述驾驶环境随机模型采用Dropout前向传播，预测基于所述第一节点的父节点表示的驾驶环境状态，执行所述第一驾驶动作后的驾驶环境状态的概率分布；从所述概率分布采样得到所述第一节点表示的驾驶环境状态。