[发明专利]基于深度强化学习的自适应动态窗口法

权利要求书

1.一种基于深度强化学习的自适应动态窗口法，其特征在于，包括以下步骤：

步骤S1：建立DWA算法模型，根据阿克曼智能车确定包括：速度范围[v_min，v_max]、角速度范围[w_min，w_max]、加速度范围角加速度范围的参数及DWA算法的要素；

步骤S2：构建面向DWA算法的深度强化学习模型，具体包括智能体、环境、动作与状态空间、奖励函数、深度强化学习架构；

步骤S3：随机初始化障碍物地图环境，初始化智能车速度v₀、角速度w₀、朝向角θ₀为0，将智能车置于起点p₀，终点设置为g；

步骤S4：训练集收集阶段：模拟智能体在随机生成的障碍物地图中运动，收集用于神经网络梯度下降的轨迹集ψ；

步骤S5：网络参数更新阶段：利用步骤S4收集到的轨迹集ψ更新各个网络架构参数；

步骤S6：判断当前网络架构下智能体的回合平均分是否大于阈值，如果是则终止循环，否则重新进入步骤S3进行新一代训练。

2.根据权利要求1所述的基于深度强化学习的自适应动态窗口法，其特征在于：步骤S1中，所述DWA算法核心要素包括：速度空间约束、运动模型、评价函数：

速度空间约束V_v

(1)极限速度约束V_m：智能车可行速度不得超过极限范围：

V_m＝{(v，w)|v∈[v_min，v_max]∧w∈[w_min，w_max]}

式中[v_min，v_max]线速度范围，[w_min，w_max]为角速度范围；

(2)加速度约束V_d：相邻时刻的智能车速度、角速度增量受到加速度、角加速度约束：

v_c、w_c为当前线速度、角速度，为线加速度范围，为角加速度范围，Δ_t为运动时间间隔，也为模拟轨迹采样时间间隔；

(3)制动距离约束V_a：智能车应能够在与障碍物碰撞前减速至0：

dist(v，w)为速度-角速度组合(v，w)对应轨迹离障碍物的最近距离；

(4)最小转弯半径约束w_a：智能车转向过程其转弯半径不得小于最小转弯半径：

v为智能车速度，α_lim为智能车最大转角，r_min为智能车最小转弯半径；综上，速度空间约束V_V表示为：

V_v＝V_m∩V_d∩V_a∩w_a

运动模型

当运动时间间隔足够小时，将相邻两点之间的运动轨迹近匀速直线运动，具体公式如下：

x_t、y_t表示t时刻智能车的横纵坐标，表示t时刻的航向角，v_t、w_t表示t时刻的速度-角速度组合，Δ_t为运动时间间隔；

评价函数

G(v，w)＝σ(αheading(v，w)+ζdist(v，w)+γvel(v，w))

式中σ()为平滑函数，表示智能车航向角，φ为智能车位置与目标点连线与x轴正方向夹角，dist(v，w)为模拟轨迹到最近障碍物的欧氏距离，vel(v，w)表示智能车的线速度大小，α、ζ、γ为三个权重系数。