[发明专利]多无人机队形变换方法及系统

权利要求书

1.一种多无人机队形变换方法，其特征在于，所述方法包括：

建立适用于多无人机队形变换的马尔科夫决策模型；所述马尔科夫决策模型具体包括：

状态空间：包括无人机本体的状态，与无人机本体相邻的其他无人机的状态，以及无人机本体和其他无人机的联合状态；

动作空间：由80个离散的动作组成，所述80个离散的动作包括由[0，2π]平均分成的16个方向以及由[0，v_pref)区间的速度指数分割的5个区间，其中v_pref为最佳速度；

回报函数：

式中，a_t是无人机在队形变换过程中执行的动作，为无人机本体和其他无人机的联合状态值，为无人机本体动作选择的回报值，d_t为[t-Δt,t]时间段内无人机本体与其他无人机最小分距离，p_g为目标位置；

状态转移概率：表示S×A→S_p的转移概率；P(s_t+1|s_t,a)表示在状态s_t下采取行动a状态转移到s_t+1的概率；

折扣因子：γ∈(0，1)；

基于注意力机制以及深度价值网络算法计算马尔科夫决策模型的最优解，具体包括：

采集邻居无人机的状态动作信息，所述邻居无人机为与无人机本体相邻的无人机；

对无人机本体的状态动作信息以及所述邻居无人机的状态动作信息进行预处理，得到所述无人机本体和所述邻居无人机的联合状态特征向量；

根据所述联合状态特征向量和所述注意力机制获得注意得分；

根据所述联合状态特征向量和所述注意得分，获得综合特征值；

利用所述综合特征值和无人机本体的状态获得状态价值函数；

利用深度价值网络算法对所述状态价值函数进行迭代更新，得到最优状态价值函数；

根据最优状态价值函数获得无人机本体的最优动作选择，无人机本体的最优动作选择即为所述马尔科夫决策模型的最优解。

2.根据权利要求1所述的方法，其特征在于，所述对无人机本体的状态动作信息以及所述邻居无人机的状态动作信息进行预处理，得到所述无人机本体和所述邻居无人机的联合状态特征向量，具体包括：

构造一个地图张量；

将所述地图张量、动态障碍物的状态以及无人机本体的状态输入到第一层多层感知机，得到无人机本体与动态障碍物的第一成对特征向量，所述第一成对特征向量为一个定长向量，所述动态障碍物为与无人机本体相邻的其他无人机；

将所述第一成对特征向量输入到第二层多层感知机，获得无人机本体与动态障碍物的第二成对特征向量，所述第一成对特征向量和所述第二成对特征向量均为联合状态特征向量。

3.根据权利要求2所述的方法，其特征在于，所述根据所述联合状态特征向量和所述注意力机制获得注意得分的公式为：

α_i＝ψ_α(e_i,e_m；W_α)

式中，e_i为第一成对特征向量，所述第一成对特征向量为一个定长向量，e_m是与定长向量e_i相同长度的嵌入向量，e_m是通过对e_i-j算术平均获得的，ψ_α(·)是一个多层感知机，具有ReLU激活函数和权重W_α，α_i是指注意得分。

4.根据权利要求2或3所述的方法，其特征在于，所述根据所述联合状态特征向量和所述注意得分，获得综合特征值，具体包括：对所述第二成对特征向量和所述注意得分进行加权线性组合，得到综合特征值。