[发明专利]基于DQN的无人机机动策略自主生成方法

摘要

本发明提供了一种基于DQN的无人机机动策略自主生成方法，分别建立无人机三自由度运动模型、无人机机动控制模型、基准地形三维模型和山峰三维模型；计算无人机当前位置下所受地形障碍影响程度值；构建评价网络和目标网络，对评价网络进行训练；使用训练结果作为无人机飞行控制外环控制器，控制无人机的两向过载和无人机速度倾斜角。本发明将深度强化学习方法和无人机的制导与控制机动策略进行结合，在离线仿真环境中进行学习训练，达到要求后再进行实际应用，极大地增强了无人机在执行任务过程中的自主性，提高了无人机执行任务的效率。

主权项

1.一种基于DQN的无人机机动策略自主生成方法，其特征在于包括以下步骤：/n1)建立无人机三自由度运动模型；/n2)建立无人机机动控制库；/n3)建立基准地形三维模型和山峰三维模型；/n4)计算无人机当前位置下所受地形障碍影响程度值；/n5)构建评价网络Q(s,a)与目标网络Q′(s,a)，所述两个网络均属于深度神经网络；Q(s,a)和Q′(s,a)两个网络采用相同的参数进行初始化；/nQ(s,a)网络和Q′(s,a)网络采用三层网络，每层之间神经元两两连接，激活函数使用线性整流函数ReLU；/n定义状态空间式中，x,y,z为无人机在地理坐标系中的位置，v为无人机的速度标量，θ为无人机航迹倾斜角，ψ_c为无人机航迹偏转角；/n定义动作空间包括了飞机基本操作动作库中的7种基本机动a_i，a＝[N_x,N_y,γ_c]，N_x为无人机在飞机坐标系中的切向过载，N_y为无人机在飞机坐标系中的法向过载，γ_c为无人机的速度轴系倾斜角；/n定义收益r＝-(g(X_UAV)+p(X_UAV))，g(X_UAV)为无人机所受飞行环境的影响值，p(X_UAV)为无人机与终点的距离，r为无人机当前的收益；/n定义回放经验式中，s为当前状态，a为当前状态下无人机所选的动作，r为无人机执行a后所得的收益，s′为无人机执行a后的状态；/n6)对评价网络Q(s,a)进行训练；/n7)使用训练结果Q′(s,a；θ^-)网络作为无人机飞行控制外环控制器，周期性地选择无人机的机动动作，从而进一步控制无人机的两向过载N_x、N_y和无人机速度倾斜角γ_c。/n