[发明专利]动态频谱环境中基于多智能体强化学习的频率功率联合分配方法

说明书

技术领域

本发明涉及无线通信技术中的认知无线电领域，具体讲是基于多智能体强化学习实现在动态频谱环境中频率功率联合分配的新方法。

背景技术

目前，随着无线通信业务种类的快速增长，对无线频谱资源的需求也呈指数增长，使得未来无线通信中的频谱资源“匮乏”问题日益突出。认知无线电技术在保证主用户服务质量的条件下以“伺机接入”的方式利用授权用户的空闲频段，大大提高了频谱的使用效率，是解决“频谱匮乏”问题的有效方法。认知网络中(cognitive radio networks简称CRN)的频率功率联合分配技术通过合理的分配各认知用户或次级用户(secondary user，简称SU)所使用的频率和功率，尽可能的减少SU之间的干扰，提升认知无线网络的吞吐量。因此，频率功率联合分配技术是保证认知无线网络传输效率的前提和基础。

频率功率联合分配是实现认知网络共享CRN频谱资源的主要方法之一。通过合理配置SU的接入信道以及发射功率，实现在不干扰主用户(primary user，简称PU)的前提下，优化认知网络的吞吐量性能。然而与非认知系统的资源分配不同，由于PU占用状态的动态变化，认知用户的可用频谱资源同样是动态的，因此SU必须根据PU状态实时的调整策略。此时给联合分配方法的设计带来许多新的挑战。

强化学习(reinforcement learning，简称RL)采用对外界环境和自身决策不断探测的方式，获取在动态环境中，能最优化长远收益的决策。通过采用RL学习方法，单个SU能够适应频谱资源的动态性，实现最大化长远收益的频率功率联合决策。然而在多个SU并存时，由于各SU的频率功率联和决策互相影响，互相制约，且处于动态变化之中，因此RL学习方法的性能将大打折扣，甚至无法收敛。

多智能体强化学习方法(multi-agent reinforcement learning，简称MARL)考虑了在多个学习者共存时，对环境的动态变化和其它学习者策略动态变化的学习问题。其主要思想是将RL学习方法中的单个用户决策学习扩展至多个用户的联合决策学习，因此能有效地解决单个用户决策学习的低效性和不稳定性。近年来MARL方法在无线资源分配领域得到了广泛应用。

发明内容

本发明的目的是针对PU占用信道状态动态变化时，多个SU共存的CRN网络中的频率功率联和分配问题，提出一种动态频谱环境中基于多智能体强化学习的频率功率联合分配方法。

本发明的技术方案是：

一种动态频谱环境中基于多智能体强化学习的频率功率联合分配方法，实现动态频谱环境中频率功率联和分配的时隙结构包括三个时隙：感知决策时隙、传输时隙和确认时隙；感知决策时隙实现主用户状态的感知，并获取传输时隙的频率功率联和决策；传输时隙实现信息传输，并且在接收端估计链路增益，计算当前回报值和度量所受干扰大小；确认时隙用于接收ACK信号、链路增益、当前回报值和所受干扰大小的反馈信息，并且更新多智能体强化学习过程中所需要的行为回报函数，历史干扰表，以及对其他认知链路频率策略的估计值。

一种动态频谱环境中基于多智能体强化学习的频率功率联合分配方法，包括下列步骤：

步骤1.参数初始化，完成以下工作

1.1网络中每个认知链路i，i∈{1，...，N}初始化其行为回报函数即Q函数

Q_i，0(x，f^w)＝0，x∈X，fⁱ∈Fⁱ

其中x表示状态变量，而X表示所有状态集合，fⁱ表示与认知链路i以及与其存在干扰关系的所有认知链路的联合频率决策，而Fⁱ则表示联和频率选择fⁱ所有可能组合的联合频率决策集合；

1.2初始化认知链路的历史干扰大小即I值表

I_i，0(x，fⁱ)＝N₀，x∈X，fⁱ∈Fⁱ

其中N₀表示表示噪声功率；

1.3初始化其他认知链路频率策略的估计值