[发明专利]一种基于深度强化学习的停车策略

说明书

本发明涉及智能驾驶领域，特别涉及一种基于深度强化学习的停车策略。现有技术中，传统的自动泊车系统基于传统的路径规划算法，效果较差；本发明提供了一种基于深度强化学习的停车方法以及系统，所述方法及系统可由深度强化学习算法获得停车规划路线；以车辆观测状态、车辆预测动作和奖励函数构成元组，基于该元组的泊车规划方法，具有基于产品特点提取特征，使得需要的参数少的特点。此外，基于目标函数：(距离+转向+碰撞)，系数不需要调整；本发明采用深度强化学习的方式来提取特征，具有整体规划时间快，对外界的反应快等有益的技术效果。

技术领域

本发明涉及交通工具技术领域，特别涉及一种基于深度强化学习的停车策略。

背景技术

目前对于自动泊车技术主要的技术路线是基于传统的路径规划算法，如RRT、PRM、A*等。其基本思想是在预先制作好的场景地图内，随机产生路径，之后对随机生成的路径进行碰撞检测，即检测路径是否会穿过障碍物，或路径是否在车辆可行驶区域内。再在所有可行的路径中，利用迪杰斯特拉算法等方法选择其中最优的停车路径。

但是，上述现有技术存在以下缺陷：由于现有技术需要先产生随机路径，当场景较为复杂时(障碍物较多、车位狭小)，难以产生可行的路径，使得最终得到的规划路径质量较差；现有技术针对不同的场景(不同车库、甚至同一车库的不同车位)都需要重新进行计算其最优路径，使得其泛化能力较差；传统算法对于地图精度有较高的要求，因而在应用有较大噪声的传感器输入(如：相机、Lidar等)时，规划效果较差。对规划路径的选择较少，缺少选择最优解的可选规划路径数量。

发明内容

为解决了现有技术中的技术问题。本发明提供了一种基于深度强化学习的停车方法，其特征在于：所述方法可由深度强化学习算法获得停车规划路线；

在深度强化学习算法的训练过程中,由车辆观测状态、车辆预测动作和奖励函数构成元组，所述元组每隔规定时间更新一次；

根据当前车辆观测状态,输出预测动作和奖励函数进行路线规划，当元组更新一次后，根据更新后的车辆观测状态,输出预测动作和奖励函数进行再一次的路线规划，直至车辆到达目标车位；由此可以得到奖励函数值最高的停车规划路线。

优选的，所述车辆观测状态包括车辆坐标(x,y,yaw)，其中,x,y分别表示车辆转向中心在可行区域的坐标系下的x坐标与y坐标，yaw为车辆当前姿态与x轴的角度。

优选的，传感器信息为车辆四个角点处安装的传感器测量得到的各角点到最近障碍物的距离。

优选的，所述车辆预测动作包括车辆线速度和车辆转向角度。

优选的，所述奖励函数表示车辆的终止状态与目标车位的距离，车辆的终止状态越接近目标车位，获得的奖励值r越高。

优选的，在采用深度强化学习算法来训练停车策略的过程中，建立第一神经网络和第二神经网络，其中,所述第一神经网络采用车辆观测状态作为输入，输出奖励函数的函数值用于量化当前状态的好坏；第二神经网络采用车辆观测状态作为输入，输出车辆预测动作。

优选的，所述停车规划路线的优越程度可通过以下公式进行评价：

Y＝a*distance(car position,target position)+b*abs(car yaw-target yaw)+c*target reached

其中,Y表示停车路径的优越程度；a,b表示控制任务完成度；c表示任务完成的额外奖励；假设规划任务的空间(即上述可行区域)大小为L米*L米，则a＝1/L；b＝1/2π；c＝1，distance()函数返回车辆转向中心距离目标车位点的距离，abs()函数为取括号内数的绝对值，target reached表明车辆是否到达目标车位，如果车辆到达目标车位，则targetreach＝1，否则，target reach＝0。