[发明专利]基于深度强化学习的优先级无人机编队动态信道分配方法及其系统

说明书

本发明提供一种基于深度强化学习的优先级无人机编队动态信道分配方法及其系统，该方法包括：对无人机编队信道的动态分配过程建立模型，并在模型中建立无人机在环境中的环境状态、动作集合以及奖赏函数，无人机的业务具有优先级；将LSTM加入到DQN中形成改进型深度强化学习网络模型；利用模型对改进型深度强化学习网络模型进行训练；以及利用训练后的改进型深度强化学习网络模型对无人机编队动态分配信道。根据本申请，改善了有优先级的网络下的无人机群网络用频自主决策。通过对无人机编队信道的动态分配过程进行建模来评估无人机因为等待所造成的丢包影响，并且通过将LSTM引入到中加快了DQN训练的收敛速度。

技术领域

本发明属于无线通信技术领域，特别涉及一种基于深度强化学习的优先级无人机编队动态信道分配方法及其系统。

背景技术

无人机单机飞行往往会导致信息获取不全面，鲁棒性差等缺点，而且无人机受限于配重，每架无人机不能安装需要完成任务的所有的传感器，这时必须通过无人机编队中的每个个体进行协同方可完成任务。因此研究无人机飞行编队的方向势在必行，多架无人机的编队相互配合、互相合作的方式，可以在一定程度上提高单架无人机执行任务的成功概率。在军事侦察、目标打击、通信中继、电子对抗、战场评估、灾难评估、测绘等方面，无人机编队飞行都可以提高单无人机的工作效率。

无人机可用频带有限，但无人机传输数据所用的带宽比较大，如果不能有效的分配无人机所使用的信道，就会造成无人机干扰其他频段用户的通信行为，而且如果无人机编队不能进行合理的运用分配有限的资源，就会导致无人机之间进行信道冲突，会使无人机群的通信受到严重的障碍，最终导致任务的失败。这样一来无人机群需要具备临机协同用频的能力，需要在远离控制台的地区实现自主决策，自主分配信道的使用，在保证不干扰其他用户用频的情况下，无人机群内部也可以有条不紊的使用有限的频段，保证任务的成功。

需要提供一种无人机编队动态信道分配方法，用以解决在无人机灾难评估、航拍测绘场景下无人机设备繁多，可供无人机使用的频带有限，从而造成无人机群信道资源不够用的情况。

发明内容

为了解决上述问题，本发明提供一种基于深度强化学习的优先级无人机编队动态信道分配方法，该分配方法能够改善高优先级无人机的延迟情况，满足无人机群任务的轻重缓急，给感知重要信息的无人机提供更多共享的机会，提高任务的成功率。

为了实现上述目的，提供一种基于深度强化学习的优先级无人机编队动态信道分配方法，所述分配方法包括：对无人机编队信道的动态分配过程建立模型，并在所述模型中建立无人机在环境中的环境状态、动作集合以及奖赏函数，所述无人机的业务具有优先级；将长短时记忆网路(LSTM)加入到深度Q网络(DQN)中形成改进型深度强化学习网络模型；利用所述模型对所述改进型深度强化学习网络模型进行训练；以及利用训练后的所述改进型深度强化学习网络模型对无人机编队动态分配信道。

进一步地，所述环境状态包括与信道相关的信息，所述动作集合包括无人机的动作，通过切换所述动作集合中的无人机的动作获得所述环境状态的反馈以及奖赏值，所述优先级设置成与通信频率正相关。

进一步地，所述环境状态用于评价无人机在做出动作之后对环境状态所造成的影响，并且，所述环境状态包括信道的容量、无人机通信之间的碰撞情况以及无人机之间对信道的利用率。

进一步地，所述动作集合包括无人机要接入信道以及无人机不接入信道。

进一步地，在所述模型中建立无人机在环境中的环境状态、动作集合以及奖赏函数，包括如下步骤：

定义所述环境状态为S_t＝{s₁,s₂,……,s_n}；

定义所述动作集合为A＝{a₁,a₂,……,a_n}，其中，a_i∈{0,……,C}；