[发明专利]一种基于深度强化学习的无人机避障方法

权利要求书

1.一种基于深度强化学习的无人机避障方法，其特征在于，包括如下步骤：

步骤1，在三维空间内建立无人机避障飞行模型，随机生成障碍物数量、位置、以及无人机的起始点；

步骤2，基于马尔可夫过程框架建立环境模型，包括状态空间S、动作空间A、奖励函数R，状态转移概率P；

步骤3，基于状态和策略选择动作，无人机采取动作后与环境交互产生新的状态并计算得到的奖励，将状态、动作、奖励和下一时刻动作组成四元数存储在DDQN算法的经验池中，以供样本采样训练；

步骤4，采用DDQN算法对环境模型采样得到的样本进行网络更新，并对样本的状态-动作对进行赋值；

步骤5，根据样本中状态下各个动作的赋值选择最优动作，进而得到最优策略。

2.根据权利要求1所述一种基于深度强化学习的无人机避障方法，其特征在于，步骤2中基于马尔可夫过程框架建立环境模型，包括状态空间S、动作空间A、奖励函数R和状态转移概率P，具体为：

建立的状态空间S包括无人机的当前方位角无人机与最近障碍物的水平距离d_a、无人机与最近障碍物高度差d_ha、无人机与和离其距离最短障碍物中心点组成的向量与x轴的夹角无人机与飞行任务点的水平距离d_o、无人机与飞行任务点的高度差d_ho、无人机与飞行任务点组成向量与x轴的夹角记为

动作空间A包括无人机单位时间内航向角的变化和航迹倾斜角的变化；

建立的奖励函数R设计为：

式中，r_o(k)为无人机与障碍物距离发生变化产生的奖励，r_s为任务成功是产生的奖励，r_f为任务失败产生的奖励，r_a(k)无人机与目标点距离发生变化产生的奖励，r_a(k)人机与目标点距离变化产生的奖励，r_ha(k)为无人机与目标点高度差变化产生的奖励，d_o为无人机与最近障碍物的距离，是判断无人机是否发生碰撞最主要的参数，d_a为无人机与目标点之间的距离，r_ha为无人机与目标点之间的高度差，D_et为无人机安全距离；

状态转移概率P(s'|s)，表示状态s下根据采用训练得到的策略执行动作，状态由s转移到s′的概率。

3.根据权利要求1所述一种基于深度强化学习的无人机避障方法，其特征在于，步骤3中四元数被存储在DDQN算法的经验池中，具体存储方法为，对DDQN算法的经验池进行划分，分为正经验池和负经验池，奖励值为正则将四元数存储在正经验池，奖励值为负则将四元数存储在负经验池。

4.根据权利要求3所述一种基于深度强化学习的无人机避障方法，其特征在于，步骤3中样本采样的方法是，对正经验池中的样本采用先随机后优先的采样方法，对负经验池的样本采用随机采样的方法，采样得到的样本表示为：

D＝m_p+m_n

式中，D为训练中选取的样本，m_p表示从正经验池中抽取的样本，m_n表示从负经验池中抽取的样本。

5.根据权利要求1所述一种基于深度强化学习的无人机避障方法，其特征在于，步骤4中采用DDQN算法对环境模型采样得到的样本进行网络更新，并对样本的状态-动作对进行赋值；具体包括如下内容：

采用神经网络对状态-动作对进行赋值，具体如下

f(s,a,θ)≈Q*(s,a)

其中，s表示状态，a表示动作，θ表示网络参数；

在更新时，改进DDQN算法采用两个不同的网络分别计算状态动作对的Q值，两个网络分别是估计神经网络和目标神经网络，利用两个网络对同一状态动作对计算得到的Q值差采用时序差分误差的方法进行更新，表示为：

L_t(θ_t)＝E(y_t-Q(s,a,θ_t))²

式中，L_t表示两个网络计算得到的Q值差，y_t为优化目标，θ_t和θ_t^-分别表示t时刻目标网络的参数和估计网络的参数，为在状态s_t+1处各个动作对应Q值中最大的一个，r_t+1为执行动作后所获得的奖赏值，γ为折扣因子。