[发明专利]一种基于蒙特卡洛树搜索的自动驾驶纵向决策方法

说明书

本申请涉及自动驾驶领域，提供了一种在采样后ST图上进行蒙特卡洛树搜索的自动驾驶纵向决策方法。包括：构建神经网络并训练，将训练好的神经网络部署到决策方法中，决策过程中得到的神经网络推理结果是si＝p(ti)的离散函数；在采样后的ST图中基于神经网络得到的先验知识(si＝p(ti)离散函数)进行蒙特卡洛树搜索，以得到最优的N条轨迹；依据得到的最优轨迹得出纵向决策。本申请对比于动态规划搜索方式，在一定程度上能够减少耗时，提高决策鲁棒性，且可以得到多组纵向决策，适用于多线程/多进程架构。

技术领域

本发明涉及自动驾驶领域，尤其涉及一种基于蒙特卡洛树搜索的自动驾驶纵向决策方法。

背景技术

随着汽车智能化和辅助驾驶技术的发展，自动驾驶作为辅助驾驶的高级阶段，俨然成为未来解决人们出行问题的重要手段，已经成为全球新一轮研究重点和热点。尤其是近年来，自动驾驶技术蓬勃发展，在人类交通发展史上取得了里程碑式的进步。

目前，自动驾驶的技术架构主要分为环境感知定位，决策规划和执行控制三个主要模块。其中，决策规划模块相当于自动驾驶的大脑，接收来自环境感知定位的一系列数据和障碍物信息后做出相应的决策，纵向决策是决策规划模块中比较重要的部分，用以计算出与障碍物之间的交互行为(超车，停止，让行，强行等)，即在上层规定的搜索域(所有的静态交规决策，部分动态障碍物决策)和搜索目标(目标速度)下，将不确定性问题(障碍物行为不确定性，预测本身的不确定性)确定化，对搜索域内每个障碍物做出纵向的交互决策(不交互，时间上的交互形式和参数，空间上的交互形式和参数)，在将纵向决策转化为纵向规划可理解的可解的、凸的定义域和目标函数。纵观自动驾驶全局，纵向决策在路径决策之后，运动规划，运动控制之前。

如今自动驾驶系统中的纵向决策模块一般采用的是在采样后的ST图(station-time graph)上进行动态规划(dynamic programming，DP)搜索后得出一条最优轨迹，之后根据此轨迹与障碍物ST图的位置关系确定交互行为。这种基于动态规划的搜索算法只能给出一组纵向决策，很难兼容多线程/多进程架构；其次，这种方法的运算效率较低，耗时较长；最后，这种方法是基于规则的方法，当场景越来越复杂的时候，规则的人力成本会逐渐升高，泛化能力也会逐渐下降，就容易造成顾此失彼的局面。

发明内容

针对自动驾驶纵向决策模块，本申请提出了一种在采样后的ST图上进行蒙特卡洛树搜索的方法，对于蒙特卡洛树搜索中使用UCB公式选择阶段，本申请采用基于神经网络改进的UCB公式，使选择阶段更加合理，可以更加快速的搜索到最优轨迹，并基于此轨迹与障碍物ST图的位置关系确定纵向决策。本申请可以在一定程度上减少纵向决策的耗时，提高决策鲁棒性，且可以得到多组纵向决策，适用于多线程/多进程架构。

为了达到上述目的，本申请采用以下方案：

1，构建人工神经网络并对其训练，以将训练好的神经网络的推理结果应用于蒙特卡洛树搜索中UCB公式的改进，包括：

(1)构建训练集，利用自动驾驶车辆在运行良好场景下的数据来构建训练集，通过障碍物的ST图与自动驾驶车辆在ST图上轨迹的一一对应关系训练神经网络。这里要对ST图进行采样和降维处理，以得到神经网络的(n+1)维输入向量，其中n维代表采样后的ST图，1维为自动驾驶车辆在当前时刻速度。

(2)构建神经网络并训练，构建(n+1)×h×m三层神经网络，其中，(n+1)为输入层节点数，h为隐藏层节点数，m为输出层节点数，即输出一个m维向量，用以表示自动驾驶车辆在ST图上的预估轨迹，每一维表示在时刻T(即ST图中的time)时自动驾驶车辆应该位于的S(即ST图中的station)。激活函数采用Sigmoid函数，损失函数采用如下式所示的均方差损失函数：