[发明专利]基于DQN的无人机机动策略自主生成方法

权利要求书

1.一种基于DQN的无人机机动策略自主生成方法，其特征在于包括以下步骤：

1)建立无人机三自由度运动模型；

所述的无人机三自由度运动模型式中，N_x为无人机在飞机坐标系中的切向过载，N_y为飞机坐标系中的法向过载，v为无人机速度，θ为无人机航迹倾斜角，ψ_c为无人机航迹偏转角，γ_c为速度倾斜角，x、y和z为无人机在地理坐标系中的三向坐标，m为无人机质量，g为重力加速度；

2)建立无人机机动控制库；

所述的无人机机动控制库包括了最大过载左转、最大过载右转、控制不变、最大减速、最大加速、最大过载拉起和最大过载俯冲；机动动作使用无人机切向过载N_x、法向过载N_y和速度倾斜角γ_c进行定义，式中，N_x为无人机在飞机坐标系中的切向过载，N_y为飞机坐标系中的法向过载，P为发动机推力，Y为无人机所受空气升力，Q为无人机所受空气阻力，m为无人机质量，g为重力加速度；

3)建立基准地形三维模型和山峰三维模型；

所述的基准地形三维模型式中，h(x,y)为(x,y)点对应的地面海拔高度，x的正方向为正东方向，y的正方向为正北方向，h的正方向指向天空，a、b、c、d、e、f和g为常系数，控制基准地形起伏；

所述的山峰三维模型式中，z为(x,y)点对应的山峰高度，h_i为山峰海拔高度，(x_i,y_i)为山峰中心位置，(x_si,y_si)为山峰在x和y方向上的坡度，n为山峰个数；

4)计算无人机当前位置下所受地形障碍影响程度值；

所述的无人机当前位置下所受地形障碍影响程度值式中X_UAV和(x_UAV,y_UAV,z_UAV)为无人机在地理坐标系中的位置坐标，

；

5)构建评价网络Q(s,a)与目标网络Q′(s,a)，所述两个网络均属于深度神经网络；Q(s,a)和Q′(s,a)两个网络采用相同的参数进行初始化；

Q(s,a)网络和Q′(s,a)网络采用三层网络，每层之间神经元两两连接，激活函数使用线性整流函数ReLU；

定义状态空间S＝[x,y,z,v,θ,ψ_c]，式中，x,y,z为无人机在地理坐标系中的位置，v为无人机的速度标量，θ为无人机航迹倾斜角，ψ_c为无人机航迹偏转角；

定义动作空间包括了飞机基本操作动作库中的7种基本机动a_i，a＝N_x,N_y,γ_c，N_x为无人机在飞机坐标系中的切向过载，N_y为无人机在飞机坐标系中的法向过载，γ_c为无人机的速度倾斜角；

定义收益r＝-(g(X_UAV)+p(X_UAV))，g(X_UAV)为无人机所受飞行环境的影响值，p(X_UAV)为无人机与终点的距离，r为无人机当前的收益；

定义回放经验式中，s为当前状态，a为当前状态下无人机所选的动作，r为无人机执行a后所得的收益，s′为无人机执行a后的状态；

6)对评价网络Q(s,a)进行训练；

7)使用训练结果Q′(s,a；θ^-)网络作为无人机飞行控制外环控制器，周期性地选择无人机的机动动作，从而进一步控制无人机的两向过载N_x、N_y和无人机速度倾斜角γ_c。

2.根据权利要求1所述的基于DQN的无人机机动策略自主生成方法，其特征在于：所述的步骤6)首先初始化存储区域D用于存储经验数据R，并初始化Q(s,a；θ)和Q′(s,a；θ^-)的拓扑结构和节点内使用的激活函数类型；然后设置已训练周期数m和已训练回合数t为0，开始学习训练M个周期，每个周期中包含T回合单步训练；在每回合中，选取当前最优的动作将a_t作为无人机的控制输入后得到当前的收益r_t和下一时刻状态s_t+1，然后将(s_t,a_t,r_t,s_t+1)存入中；随后从中随机抽样得到一组历史数据，利用抽样数据对Q(s,a；θ)使用随机下降法进行优化，目标函数重复训练更新Q(s,a；θ)的参数θ，每过C步利用参数θ更新Q′(s,a；θ^-)的参数θ^-；当完成T个回合单步训练后，即开始下一个周期的训练，当M个周期训练结束后，则Q′(s,a；θ^-)网络为训练结果。