[发明专利]基于MAPPO算法多无人机与用户协同通信优化方法

说明书

本发明公开了一种基于MAPPO算法多无人机与用户协同通信优化方法，包括以下步骤：一、无人机网络模型和用户网络模型的建立；二、无人机和用户场景设置；三、无人机和用户的观测状态的获取；四、无人机和用户的全局状态的获取；五、无人机和用户的奖励的获取；六、储存经验元组；七、MAPPO算法迭代优化网络模型的参数；八、多无人机和多用户协同通信优化预测。本发明通过无人机和用户网络模型参数优化，实现了无人机飞行方位角、功率、带宽分配优化，有效地适应多个无人机和多用户的观测状态以预测输出合理的协同通信优化策略，实现在多维决策动作下最大化通信系统吞吐量并满足资源分配的公平性。

技术领域

本发明属于无人机和用户通信技术领域，尤其是涉及一种基于MAPPO算法多无人机与用户协同通信优化方法。

背景技术

在当前5G移动通信中，随着各种新兴产业迅猛发展地面骨干网承受着巨大的数据传输压力。同时受限于地理条件的影响，许多偏远地区仍处于无线覆盖欠缺的状态。这些前所未有的对高质量无线通信服务的需求，对当前传统地面通信网络提出了严峻挑战。为此，在未来6G及以后的无线通信中，无人机(Unmanned Aerial Vehicle,UAV)作为空中接入节点辅助地面通信成为一种有前途的解决方案。

无人机作为飞行基站具有较强的灵活性及自由度，可跨越多种地形为用户提供无线覆盖，一方面可以卸载部分地面溢出的计算负荷，减轻地面基站计算传输压力，另一方面可以灵活调整地面覆盖范围及区域，以应对随机运动的地面用户(Ground User,GU)。与此同时，无人机空地链路的良好视距特性使得非视距遮挡和阴影效应的概率大为减少，在一定程度上减少了不必要的路径损耗，在无人机有限的能量和提供同等通信服务质量(Quality of Service,QoS)条件下，更有助于延长它的工作时间。

现有的主要针对无人机在固定的通信资源分配，或对单一通信资源分配下对无人机进行轨迹优化。优化目标仅局限于无人机或地面接入控制，并未从多个无人机和多个用户层面去进行研究。

因此，现如今缺少一种基于MAPPO算法多无人机与用户协同通信优化方法，通过无人机和用户网络模型参数优化，实现了无人机飞行方位角、功率、带宽分配优化，有效地适应多个无人机和多用户的观测状态以预测输出合理的协同通信优化策略，实现在多维决策动作下最大化通信系统吞吐量并满足资源分配的公平性。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于MAPPO算法多无人机与用户协同通信优化方法，其方法步骤简单，设计合理，通过无人机和用户网络模型参数优化，实现了无人机飞行方位角、功率、带宽分配优化，有效地适应多个无人机和多用户的观测状态以预测输出合理的协同通信优化策略，实现在多维决策动作下最大化通信系统吞吐量并满足资源分配的公平性。

为解决上述技术问题，本发明采用的技术方案是：一种基于MAPPO算法多无人机与用户协同通信优化方法，其特征在于，该方法包括以下步骤：

步骤一、无人机网络模型和用户网络模型的建立：

步骤101、设定无人机Actor网络的参数为φ，无人机Critic网络的参数为ω₁，用户Actor网络的参数为θ，用户Critic网络的参数为ω₂；

步骤102、设定无人机Actor网络的参数φ的初始值为φ(0)，无人机Critic网络的参数ω₁的初始值为ω₁(0)，用户Actor网络的参数θ的初始值为θ(0)，用户Critic网络的参数ω₂的初始值为ω₂(0)；其中，φ(0)、ω₁(0)、θ(0)和ω₂(0)满足神经网络正交初始化；

步骤二、无人机和用户场景设置：

步骤201、建立二维直角坐标系OXY；其中，二维直角坐标系和地面区域D重合；