[发明专利]一种基于DQN的车辆自动泊车方法

权利要求书

1.一种基于DQN的车辆自动泊车方法，其特征在于，包括以下步骤：

步骤一，获取障碍物信息及泊车位信息，建立泊车坐标系，判断泊车类型是垂直泊车还是平行泊车，并将车辆停到相对合理的泊车起始位置；

步骤二，获取当前时刻的车辆位置信息；根据当前时刻的车辆位置信息、障碍物信息及泊车位信息，使用训练过后的DQN计算期望车辆前轮摆角；

步骤三，按照根据期望车辆前轮摆角，控制车辆前轮转动并移动车辆；

步骤四，更新当前时刻的车辆位置信息，判断是否进入泊车位，如果进入泊车位则泊车结束，否则更新障碍物信息，返回步骤二重新计算车辆前轮摆角；

所述步骤二和步骤三中：

首先，建立DQN；DQN中包括两个结构相同但是参数不同的神经网络-目标神经网络及当前神经网络，当前神经网络用于计算当前状态，即当前状态s_t下每一个动作a的Q值Q(s_t，a)，一个动作a表示车辆前轮转动一个角度并移动特定距离，目标神经网络计算用于下一个状态s_t+1下每一个动作a的Q值Q(s_t+1，a)；神经网络的输入层为车辆位置信息障碍物信息s_obi＝(x_obi，y_obi，w_obi)，i＝1，2，...，n及理想泊车最终位置信息其中，x_t，y_t和分别为车辆在泊车坐标系中的x，y坐标及航向角；x_obi，y_obi和w_obi为第i个障碍物在泊车坐标系中的x、y坐标及宽度，n为障碍物的个数，当没有障碍物时，则将障碍物信息设置为泊车位四个角的位置，宽度为固定值；x_p、y_p及分别为车辆理想泊车最终位置在泊车坐标系中的x、y坐标及方向；神经网络输出为当前状态s_t下每一个动作a的Q值Q(s_t，a)；车辆前轮转动角度，即前轮摆角一共有N＝β/τ+1个，其中β为前轮摆角最大值与最小值的差值，τ为分辨率；

然后，对DQN进行训练；

最后，将当前时刻的车辆位置信息障碍物信息s_obi＝(x_obi，y_obi，w_obi)，i＝0，2，...，n及理想泊车最终位置信息输入到训练好的DQN中，用当前神经网络计算当前状态下每一个动作的Q值，根据ε-greedy策略选择动作a_t，并执行动作a_t，即计算期望车辆前轮摆角，并根据期望车辆前轮摆角，控制车辆前轮转动并移动车辆。

2.根据权利要求1所述基于DQN的车辆自动泊车方法，其特征在于，所述步骤一中，判断泊车类型的方法为：如果泊车位与泊车起始位置垂直，则为垂直泊车，如果泊车位与泊车起始位置平行，则为平行泊车；

确定相对合理的泊车起始位置的方法为：

首先，确定相对合理的泊车最终位置：相对合理的泊车最终位置位于泊车位内，并与泊车位四周指示线的距离均不小于0.05m；然后，在相对合理的泊车最终位置内确定理想泊车最终位置；再按以下方法确定与理想泊车最终位置对应的理想泊车起始位置：在垂直泊车中，车辆在理想泊车起始位置时的后轴中心点与在理想泊车最终位置时的后轴中心点的纵向距离为车辆的最小转弯半径R_min，横向距离为车辆最小转弯半径R_min与车辆轴长R_min的和，车头朝向与车位中轴线垂直；平行泊车中，车辆在理想泊车起始位置时的后轴中心点与在理想泊车最终位置时的后轴中心点的横向距离为纵向距离为车头朝向与车位中轴线平行；最后，确定与理想泊车起始位置横向及纵向误差不大于1.5m，航向误差不大于10°的位置为相对合理的泊车起始位置。

3.根据权利要求2所述的基于DQN的车辆自动泊车方法，其特征在于，所述步骤四中，如果车辆进入泊车位，且到达相对合理的泊车最终位置则泊车结束。