[发明专利]基于DRL的RIS辅助用户中心化去蜂窝系统中资源管理半并行方法

说明书

本发明提出了一种用于可重构智能表面(RIS)辅助用户中心化去蜂窝(UCCF)系统中基于深度强化学习(DRL)的半并行方法。该方法将优化问题分解为两个迭代的子任务：接入点(AP)和用户设备(UE)关联(AUA)子任务与发射功率和RIS反射系数管理(PRCM)子任务。具体方法为，对整数非线性规划的AUA采用二进制粒子群优化(BPSO)算法；对于多连续变量联合优化的PRCM，提出了基于DRL的并行算法，采用双延迟深度确定性策略梯度(TD3)算法提高收敛性，并提出新的状态预处理机制。本发明采用基于DRL的半并行方法优化多个变量，克服了传统算法解决NP‑hard问题的局限，提高了精确度，同时智能化的方法面对环境变化时可以快速调整而不需要大量的先验知识。

技术领域

本发明设计了一种用于RIS辅助UCCF系统的基于DRL的半并行联合优化方法。确切地说，该方案考虑了多变量(包括离散变量和连续变量)联合优化的复杂性，设计了一种基于DRL的半并行框架，并为神经网络的收敛采取了技巧。以最大化系统可达速率为目标，联合优化AUA，UEs发射功率和RISs反射系数，属于基于人工智能的无线通信技术领域。

背景技术

近年来，随着无线通信和人工智能的发展，“万物智联”的概念被提出，以小区为中心的蜂窝系统受限于边缘效应，已不能满足日益增加的系统容量需求。CF系统通过部署大量的分布式的APs服务于UEs，消除了小区边界的概念，提高了空间宏分集增益并减少了路径损耗，实现了更大的系统容量。但是，APs和UEs分布不均匀，导致部分APs与UEs间距离较远，对其速率提升贡献较小，却增加了UEs能耗和CPU资源消耗。为了缓解该问题，UCCF系统被提出。选择合适的APs服务于每个UE，降低硬件能耗，同时可以带来更高的系统吞吐量。因此，高效的AUA技术对UCCF系统性能的发挥至关重要。

APs的密集部署是提高CF网络吞吐量的有效方法，但同时也会带来能耗和部署成本的增加。RIS集成了大量低成本无源的超材料元件，通过适当调整各元件的反射系数，可以实现无源波束形成，增强接收信号的信干噪比。因此，RIS具有提高UCCF系统的可达速率的潜力。目前可以证明RIS辅助CF系统可以实现比传统CF网络更高的容量。然而RIS也给UCCF系统带来了RIS反射系数矩阵优化的挑战，增加了算法的设计复杂度和收敛时间。

由于RIS辅助UCCF系统变量间特性比较复杂，使用传统方法难以捕捉变量间的潜在影响，非线性搜索不可避免。另外采用传统算法求解多变量联合问题的效率和可靠性难以保证，阻碍了RIS辅助UCCF系统潜力的发挥。近年来，基于学习的优化算法在求解复杂数学任务上表现突出，通过使用非线性模型自适应拟合输入和输出之间的策略来执行决策任务。DRL由于其无监督和迁移学习的特性，被认为是复杂环境下解决资源管理任务的一种可行方法。因此，在RIS辅助UCCF系统中开发基于学习的智能优化算法具有重要意义。

发明内容

有鉴于此，本发明的目的是搭建一个RIS辅助UCCF系统，在考虑UE最大传输功率、RISs反射系数模1和UEs的QoS等约束下，提供一种基于DRL的半并行联合优化方法，实现低复杂度高效率的RIS辅助UCCF系统下的资源管理，主要包括AUA优化、UEs发射功率控制以及RISs反射系数管理。考虑一个UCCF系统中，M个单天线APs依据AUA原则服务于K个单天线UEs(M＞K)，其中APs和UEs之间通过J个有N个元素的RISs作为补充链路，改善通信质量。AP端采用匹配滤波接收的方式解调UE信息。在此基础上，通过基于DRL的半并行优化框架求解系统的可达速率。

所述方法包括下列三个操作步骤：