[发明专利]一种基于多目标增强学习及贝塞尔曲线的汽车避障方法

说明书

本发明提供了一种基于多目标增强学习及贝塞尔曲线的汽车避障方法，通过增强学习中的Q学习算法实现避障功能；进行MDP建模，进行MDP状态设计、MDP动作设计、以及MDP回报设计；确定Q学习的终止条件；将本车当前位置信息，前车位置信息以及前车车速作为输入，通过Q学习得到本车目标位置信息；得到车辆目标位置的离散点，在每两个离散点间通过三阶贝塞尔曲线拟合出一条曲线；将最终得到的曲线离散化，得到本车最终的一系列目标点。本发明解决了经典方法在自适应方面的不足，计算过程非常繁琐，对一些不确定性无法做出对的响应；自适应性强；解决了目前增强学习没有解决的时效性的问题，提高了最优轨迹的获取效率。

技术领域

本发明属于自动驾驶技术领域，尤其是涉及一种基于多目标增强学习及贝塞尔曲线的汽车避障方法。

背景技术

自动驾驶汽车的决策系统是自动驾驶汽车极为重要的一部分。其中自动驾驶汽车的避障功能是自动驾驶汽车决策系统中的重要部分。现有的自动驾驶汽车决策方式有很多种，例如人工势场法，模糊逻辑算法，增强学习等。人工势场等经典的算法在自适应方面不足，致使增强学习算法已经成为了很多高校以及研究院解决避障问题的重要算法。而目前在避障功能中所运用的增强学习算法并不适合实际应用，算法运行时间较长，不能满足于自动驾驶汽车避障功能的实现。

发明内容

有鉴于此，本发明旨在提出一种基于多目标增强学习及贝塞尔曲线的汽车避障方法，以解决自动驾驶汽车的避障方法都是自适应方面不足、目前研究的增强学习算法数据量较大，运行时间较长不适合实际应用的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于多目标增强学习及贝塞尔曲线的汽车避障方法，具体包括如下步骤：

S01:通过增强学习中的Q学习算法实现避障功能；

S02:进行MDP建模，进行MDP状态设计、MDP动作设计、以及MDP回报设计；

S03:确定Q学习的终止条件；

S04:将本车当前位置信息，前车位置信息以及前车车速作为输入，通过Q学习得到本车目标位置信息；

S05:得到车辆目标位置的离散点，在每两个离散点间通过三阶贝塞尔曲线拟合出一条曲线；

S06:将最终得到的曲线离散化，得到本车最终的一系列目标点。

进一步的，所述S02中，所述的MDP状态设计为本车所在车道，本车与前车距离，本车与前车的相对速度。

进一步的，所述S02中，所述的MDP动作设计为本车道行驶以及超车道进行超车，并通过方向盘转角表示其动作。

进一步的，所述S02中，所述的MDP回报设计以安全性以及舒适性为评价指标，通过两车距离以及方向盘转角作为表示安全性以及舒适性的参数。

进一步的，所述S03中，每一次迭代都是从当前状态寻找下一次动作，选定一个最终状态，当自动驾驶车辆处于此状态时，停止迭代，即避障功能已完成。

进一步的，所述S05中，三阶贝塞尔曲线可以保证曲线可以过这些目标点并且保证曲线光滑。

进一步的，所述S06中，将最终得到的目标点间通过三阶贝塞尔曲线的方法得到一系列离散点，使得自动驾驶车辆可以按照所得离散点行驶。

相对于现有技术，本发明所述的一种基于多目标增强学习及贝塞尔曲线的汽车避障方法具有以下优势：

(1)本发明针对自动驾驶汽车的路径规划问题，解决了经典方法在自适应方面的不足，计算过程非常繁琐，对一些不确定性无法做出对的响应；

(2)本发明不会过度依赖于驾驶员经验进行人为控制，可自适应多数工况；