[发明专利]一种基于深度强化学习的全双工认知通信功率控制方法

说明书

本发明提供一种基于深度强化学习的全双工认知通信功率控制方法，包括：步骤1，建立全双工认知通信系统；步骤2，初始化所述全双工认知通信系统的系统参数；步骤3，基于发射机的某发射功率，计算接收机相应的信干噪比；步骤4，初始化发射机的发射功率以及动作集合，构建次用户发射机功率控制的马尔可夫决策模型；步骤5，基于次用户发射机功率控制的马尔可夫决策模型，运用深度强化学习中的DQN算法训练优化目标函数，得到最优的次用户发射机的功率控制策略；步骤6，进行次用户发射机的功率控制。本发明能够实现根据无线电环境调整发射功率，满足通信系统中所有用户服务质量要求，并且计算量及参数量较少，适合在硬件设备上部署。

技术领域

本发明涉及机器学习以及无线通信技术领域，具体而言，涉及一种基于深度强化学习的全双工认知通信功率控制方法。

背景技术

随着第五代(5G)移动通信和物联网(IoT)技术的迅速发展，海量的设备链接和各种新兴业务不断涌入，无线频谱资源变得愈加紧缺。传统的频谱分配方法导致频谱资源无法充分使用，难以满足未来一段时间内无线通信的需求。日益增长的频谱需求以及有限的频谱资源之间的矛盾必将成为限制未来无线通信技术发展的重要因素之一。认知无线电技术和全双工技术均被认为是提高频谱资源利用效率的关键技术。

全双工(即同时同频全双工)技术的特点是用户可以在同一时间以相同的频率进行信号的接收和发送，该技术近年来备受关注，逐渐成为当前信息领域的研究热点和重要发展方向。全双工无线通信面临的主要技术难点是“自干扰问题”，现有的基于天线域、射频域以及数字域的自干扰消除技术已经比较成熟，可将自干扰信号强度有效衰减70～120dB，从而保证了这一技术在实际通信系统中的有效应用。

认识无线电技术的基本思想是当授权用户(主用户，PU)不使用该频段或非授权用户(次用户，SU)对主用户的干扰低于一定阈值时，非授权用户可以使用该频段，进而提高频谱使用效率。功率控制技术是认知无线电网络中实现主、次用户共享频谱资源的关键技术之一。传统的功率控制算法主要分为两种：静态功率控制算法和动态功率控制算法。

静态功率控制算法需要知道通信系统的准确的数学模型并假设系统的参数精确已知，通过优化具有一系列约束条件的能够描述通信系统性能的目标函数来求解最优的功率。即将无线电网络功率控制描述为一个约束优化问题，通过求解一个或多个优化目标来获得各次用户最优的发射功率。针对不同网络功率控制需求，功率分配优化的目标在各个网络中也有所不同，常见的优化目标有：最大化认知无线电网络能量有效性以及最大化次用户的传输效率。这些方案均假设通信系统的信道状态是理想已知的，由于实际中无线信道的复杂性和时变性，这一假设是十分不合理的。考虑到通信系统参数的不确定性，采用鲁棒性优化理论的功率控制算法将参数的随机特性假设为一个不确定性集合并通过Bayesian等方法进行最优功率的求解。在认知无线电网络中，各用户的离开和加入都是随机的，通信系统时变性较高的特点使得这一基于概率统计模型的功率分配方案不能很好地满足系统的性能要求。

动态功率控制算法考虑到了通信系统的时变特性，如测量误差以及延迟反馈，主要包括分布式受限的功率控制算法(DCPC)和基于效用的功率控制算法(UBPC)。DCPC算法基于信干噪比以及接收端信干噪比的要求，迭代调整发射机功率以满足全部用户的服务质量(QoS)要求。UBPC算法则是基于“软”信噪比(SIR)，所谓“软”信噪比，指的是当用户感知到网络流量拥塞时，用户将自动减少其目标SIR。然而认知无线电网络信道变化迅速，这使得动态功率控制算法参数调整存在滞后效应，难以满足认知无线电网络功率控制算法所要求的适应性和灵活性。