[发明专利]无人集群飞行策略的确定方法、装置和电子设备

说明书

本发明提供了一种无人集群飞行策略的确定方法、装置和电子设备，涉及通信的技术领域，包括：获取目标区域内无人集群的位置信息、所有地面用户的位置信息和正常地面基站的通信吞吐量；无人集群包括多个无人机基站；基于每个无人机基站的位置信息和所有地面用户的位置信息，确定每个无人机基站的状态信息；利用目标混合网络模型对所有无人机基站的状态信息和正常地面基站的通信吞吐量进行处理，得到每个无人机基站的动作信息，以确定无人集群的飞行策略。目标混合网络模型为每个无人机基站都设有相应的单智能体网络模型，避免了环境非平稳的问题；目标混合网络模型基于联合动作价值函数进行训练，解决了动作空间维度爆炸的技术问题。

技术领域

本发明涉及通信的技术领域，尤其是涉及一种无人集群飞行策略的确定方法、装置和电子设备。

背景技术

得益于无人机（Unmanned Aerial Vehicle，UAV）的一些优点，例如很高的机动性、可按需部署、成本较低等，可以将其作为无人机基站（UAV Base Station，U-BS）与地面用户建立无线连接以提供通信服务，增强网络的覆盖范围以及数据传输性能。目前无人机基站辅助地面通信轨迹规划采用单智能体强化学习算法，但是，单智能体强化学习算法在解决多无人机协同问题时，会引起动作空间的维度爆炸与环境状态不平稳问题，增加了网络的收敛难度。也即，现有技术中无人集群飞行策略的确定方法存在耗时较长的技术问题。

发明内容

本发明的目的在于提供一种无人集群飞行策略的确定方法、装置和电子设备，以缓解了现有技术中无人集群飞行策略的确定方法存在的环境非平稳以及动作空间维度爆炸的技术问题。

第一方面，本发明提供一种无人集群飞行策略的确定方法，包括：获取目标区域内无人集群的位置信息、所有地面用户的位置信息和正常地面基站的通信吞吐量；其中，所述无人集群包括多个无人机基站；基于每个所述无人机基站的位置信息和所有地面用户的位置信息，确定每个所述无人机基站的状态信息；利用目标混合网络模型对所有所述无人机基站的状态信息和所述正常地面基站的通信吞吐量进行处理，得到每个所述无人机基站的动作信息；其中，所述目标混合网络模型中包括多个单智能体网络模型，所述单智能体网络模型与所述无人机基站一一对应，且所述目标混合网络模型是基于联合动作价值函数训练的，所述联合动作价值函数用于表征所有所述无人机基站的联合动作价值；基于所有所述无人机基站的动作信息确定所述无人集群的飞行策略。

在可选的实施方式中，基于每个所述无人机基站的位置信息和所有地面用户的位置信息，确定每个所述无人机基站的状态信息，包括：获取通信强度阈值和目标无人机基站的发射功率；其中，所述目标无人机基站表示所述无人集群中的任一无人机基站；基于所述目标无人机基站的位置信息与目标地面用户的位置信息，计算所述目标无人机基站与所述目标地面用户之间的距离；所述目标地面用户表示所述所有地面用户中的任一地面用户；基于所述目标无人机基站与所述目标地面用户之间的距离、所述发射功率和所述通信强度阈值，确定所述目标无人机基站与所述目标地面用户的通信链接状态；基于所述目标无人机基站与所有地面用户的通信链接状态、所述目标无人机基站的位置信息和所有地面用户的位置信息确定所述目标无人机基站的状态信息。

在可选的实施方式中，基于所述目标无人机基站与所述目标地面用户之间的距离、所述发射功率和所述通信强度阈值，确定所述目标无人机基站与所述目标地面用户的通信链接状态，包括：基于所述目标无人机基站与所述目标地面用户之间的距离，确定所述目标无人机基站与所述目标地面用户的信号传输损失；基于所述信号传输损失和所述发射功率确定所述目标地面用户的目标接收信号强度；基于所述目标接收信号强度和所述通信强度阈值确定所述目标无人机基站与所述目标地面用户的通信链接状态。

在可选的实施方式中，还包括：获取训练样本集合；其中，所述训练样本集合中包括多组训练样本，每组训练样本中包括：当前时刻无人集群的状态信息集合，当前时刻无人集群的动作集合，下一时刻目标区域的通信吞吐量和下一时刻无人集群的状态信息集合；利用训练样本集合对初始混合网络模型进行训练，得到所述目标混合网络模型。