[发明专利]一种多无人机轨迹和智能反射面相移联合优化方法及系统

权利要求书

1.一种多无人机轨迹和智能反射面相移联合优化方法，其特征在于，包括以下步骤：

S1、建立基于多无人机和智能反射面辅助的无线通信系统模型，用户发送的信号由安装在无人机上的智能反射面反射到基站，确定无线通信系统模型中的信道模型以及无人机和智能反射面的能量消耗模型，计算无线通信系统模型的能量效率；

S2、基于步骤S1确定的信道模型以及无人机和智能反射面的能量消耗模型，利用K-均值聚类算法将地面用户分簇，将能量效率作为优化目标，然后利用优先级经验回放MATD3方法确定每个簇中无人机的位置，由无人机和智能反射面辅助与基站进行通信的用户，智能反射面被激活的反射元件及被激活反射元件的相移，完成多无人机轨迹和智能反射面相移的联合优化；

利用优先级经验回放MATD3方法确定每个簇中无人机的位置，与基站进行通信的用户的位置，智能反射面被激活的反射元件以及被激活元件的相移，完成多无人机轨迹和智能反射面相移的联合优化具体为：

将基于多无人机和智能反射面辅助的无线通信系统中无人机轨迹和智能反射面相移的优化问题建模成一个马尔可夫博弈，每个安装有智能反射面的无人机作为一个智能体，第k个智能体观测当前的环境状态s_k，基于策略π_k选择一个行为a_k，行为作用于环境后获得奖励r_k，然后环境将以转移概率P(s'_k|s_k,a₁,…,a_K)转移到新的状态s'_k；

在每个时刻内，第k个智能体观测上一时刻无人机k的位置，以及第k个簇中与基站进行通信的用户的位置作为状态s_k，训练策略网络的参数为θ_k，将状态s_k作为输入，输出当前时刻第k个无人机的位置，第k个簇中与基站进行通信的被激活用户向量，第k个智能反射面的被激活元件向量以及相移向量作为行为a_k；第一训练价值网络和第二训练价值网络的参数分别为ω_k1和ω_k2，两个训练价值网络将各个智能体观测到的联合状态s＝(s₁,s₂,…,s_K)和采取的联合行为a＝(a₁,a₂,…,a_K)作为输入，分别输出联合状态-行为价值函数Q_k1(s,a₁,a₂,…,a_K,ω_k1)和Q_k2(s,a₁,a₂,…,a_K,ω_k2)，目标策略网络将下一个状态s'_k作为输入，输出下一个行为a'_k，用软更新的方式根据训练策略网络的参数θ_k更新目标策略网络的参数θ'_k，第一目标价值网络和第二目标价值网络输入下一个状态-行为对(s',a')，分别输出Q'_k1(s',a'₁,a'₂,…,a'_K,ω'_k1)和Q'_k2(s',a'₁,a'₂,…,a'_K,ω'_k2)，用软更新的方式根据第一训练价值网络的参数ω_k1和第二训练价值网络的参数ω_k2更新第一目标价值网络的参数ω'_k1和第二目标价值网络的参数ω'_k2；

将(s,a₁,a₂,…,a_K,r₁,r₂,…,r_K,s')作为智能体的一条经验存放在经验存储器中，当经验存储器达到最大存储容量时，使用优先级经验回放的方法从中抽样小批量经验进行训练，更新策略网络的参数和价值网络的参数。