[发明专利]一种基于深度强化学习的停车策略

权利要求书

1.一种基于深度强化学习的停车方法，其特征在于：所述方法可由深度强化学习算法获得停车规划路线；

在深度强化学习算法的训练过程中，由车辆观测状态、车辆预测动作和奖励函数构成元组，所述元组每隔规定时间更新一次；

根据当前车辆观测状态,输出预测动作和奖励函数进行路线规划，当元组更新一次后，根据更新后的车辆观测状态,输出预测动作和奖励函数进行再一次的路线规划，直至车辆到达目标车位；由此可以得到奖励函数值最高的停车规划路线；所述停车规划路线由各次输出的预测动作组成；

所述停车规划路线的优越程度可通过以下公式进行评价：

Y＝a*distance(car position,target position)+b*abs(car yaw-t arget yaw)+c*target reached；

其中，Y表示停车路径的优越程度；a,b表示控制任务完成度；c表示任务完成的额外奖励；假设规划任务的空间大小为L米*L米，则a＝1/L；b＝1/2π；c＝1，distance()函数返回车辆转向中心距离目标车位点的距离，abs()函数为取括号内数的绝对值，targetreached表明车辆是否到达目标车位，如果车辆到达目标车位，则target reach＝1，否则，target reach＝0。

2.根据权利要求1所述的方法，其特征在于：所述车辆观测状态包括车辆坐标(x,y,yaw)，其中，x,y分别表示车辆转向中心在可行区域的坐标系下的x坐标与y坐标，yaw为车辆当前姿态与x轴的角度。

3.根据权利要求2所述的方法，其特征在于：传感器信息为车辆四个角点处安装的传感器测量得到的各角点到最近障碍物的距离。

4.根据权利要求1-3任一项所述的方法，其特征在于：所述车辆预测动作包括车辆线速度和车辆转向角度。

5.根据权利要求1-3任一项所述的方法，其特征在于：所述奖励函数表示车辆的终止状态与目标车位的距离，车辆的终止状态越接近目标车位，获得的奖励值r越高。

6.根据权利要求1-3任一项所述的方法，其特征在于：在采用深度强化学习算法来训练停车策略的过程中，建立第一神经网络和第二神经网络，其中,所述第一神经网络采用车辆观测状态作为输入，输出奖励函数的函数值用于量化当前状态的好坏；第二神经网络采用车辆观测状态作为输入，输出车辆预测动作。

7.一种基于深度强化学习的停车路线获取系统，其特征在于：所述系统可由深度强化学习算法系统获得停车规划路线；

在深度强化学习算法系统的训练过程中,由车辆观测状态、车辆预测动作和奖励函数构成元组，所述元组每隔规定时间更新一次；

根据当前车辆观测状态,输出预测动作和奖励函数进行路线规划，当元组更新一次后，根据更新后的车辆观测状态,输出预测动作和奖励函数进行再一次的路线规划，直至车辆到达目标车位；由此可以得到奖励函数值最高的停车规划路线；所述停车规划路线由各次输出的预测动作组成；

所述停车规划路线的优越程度可通过以下公式进行评价：

Y＝a*distance(car position,target position)+b*abs(car yaw-target yaw)+c*target reached；

其中，Y表示停车路径的优越程度；a,b表示控制任务完成度；c表示任务完成的额外奖励；假设规划任务的空间大小为L米*L米，则a＝1/L；b＝1/2π；c＝1，distance()函数返回车辆转向中心距离目标车位点的距离，abs()函数为取括号内数的绝对值，targetreached表明车辆是否到达目标车位，如果车辆到达目标车位，则target reach＝1，否则，target reach＝0。

8.根据权利要求7所述的系统，其特征在于：所述车辆观测状态包括车辆坐标(x,y,yaw)，其中，x,y分别表示车辆转向中心在可行区域的坐标系下的x坐标与y坐标，yaw为车辆当前姿态与x轴的角度。