[发明专利]一种基于DQN的车辆自动泊车方法

摘要

本发明公开了一种基于DQN的车辆自动泊车方法，包括以下步骤：步骤一，获取当前时刻的车辆位置、障碍物信息及泊车位信息，并将车辆停到相对合理的泊车起始位置；步骤二，根据当前时刻的车辆位置、障碍物信息及泊车位信息，使用训练好的DQN计算期望车辆前轮摆角；步骤三，按照根据期望车辆前轮摆角，控制车辆前轮转动并移动车辆；步骤四，更新当前时刻车辆位置，判断是否进入泊车位，如果到达泊车位则泊车结束，否则更新障碍物信息，返回步骤二重新计算车辆前轮摆角。该方法采用DQN计算期望车辆前轮摆角，能够自主学习相关参数，大大减少了泊车系统参数调试的工作；使系统有较好的容错能力和鲁棒性，极大提高了车辆一次性泊车的成功率。

主权项

1.一种基于DQN的车辆自动泊车方法，其特征在于，包括以下步骤：步骤一，获取障碍物信息及泊车位信息，建立泊车坐标系，判断泊车类型是垂直泊车还是平行泊车，并将车辆停到相对合理的泊车起始位置；步骤二，获取当前时刻的车辆位置信息；根据当前时刻的车辆位置信息、障碍物信息及泊车位信息，使用训练过后的DQN计算期望车辆前轮摆角；步骤三，按照根据期望车辆前轮摆角，控制车辆前轮转动并移动车辆；步骤四，更新当前时刻的车辆位置信息，判断是否进入泊车位，如果进入泊车位则泊车结束，否则更新障碍物信息，返回步骤二重新计算车辆前轮摆角；所述步骤二和步骤三中：首先，建立DQN；DQN中包括两个结构相同但是参数不同的神经网络‑目标神经网络及当前神经网络，当前神经网络用于计算当前状态，即当前状态s_t下每一个动作a的Q值Q(s_t，a)，一个动作a表示车辆前轮转动一个角度并移动特定距离，目标神经网络计算用于下一个状态s_t+1下每一个动作a的Q值Q(s_t+1，a)；神经网络的输入层为车辆位置信息障碍物信息s_obi＝(x_obi，y_obi，w_obi)，i＝1，2，...，n及理想泊车最终位置信息其中，x_t，y_t和分别为车辆在泊车坐标系中的x，y坐标及航向角；x_obi，y_obi和w_obi为第i个障碍物在泊车坐标系中的x、y坐标及宽度，n为障碍物的个数，当没有障碍物时，则将障碍物信息设置为泊车位四个角的位置，宽度为固定值；x_p、y_p及分别为车辆理想泊车最终位置在泊车坐标系中的x、y坐标及方向；神经网络输出为当前状态s_t下每一个动作a的Q值Q(s_t，a)；车辆前轮转动角度，即前轮摆角一共有N＝β/τ+1个，其中β为前轮摆角最大值与最小值的差值，τ为分辨率；然后，对DQN进行训练；最后，将当前时刻的车辆位置信息障碍物信息s_obi＝(x_obi，y_obi，w_obi)，i＝0，2，...，n及理想泊车最终位置信息输入到训练好的DQN中，用当前神经网络计算当前状态下每一个动作的Q值，根据ε‑greedy策略选择动作a_t，并执行动作a_t，即计算期望车辆前轮摆角，并根据期望车辆前轮摆角，控制车辆前轮转动并移动车辆。