[发明专利]基于案例推理与合作Q学习的认知无线电资源分配方法

说明书

本发明公开了一种基于案例推理与合作Q学习的认知无线电资源分配方法。本发明结合了案例推理技术、合作算法与Q学习算法，实现信道和功率的联合分配。首先确定奖赏函数，对若干个随机资源分配案例利用传统Q学习算法进行学习，构建案例库以存储案例的特征值、Q值和效用值；然后通过匹配检索出与当前案例最相似案例，提取其Q值并归一化后作为新案例的初始Q值；接着根据奖赏值大小，采用合作算法融合Q值，通过借鉴其他用户的经验来进行学习。本发明针对传统Q学习收敛速度慢的问题，引入案例推理技术来加快算法的初始寻优速度，同时通过用户间合作加快整体的学习效率。

技术领域

本发明属于认知无线电领域，具体涉及一种基于案例推理与合作 Q学习的认知无线电资源分配算法。

背景技术

针对传统频谱管理方案存在的频谱利用率低的问题，已提出了一种认知无线电技术。认知无线电允许认知用户在不干扰主用户通信的前提下，动态地接入空闲信道，因而能有效地提高频谱利用率。动态资源分配是认知无线电的一种关键技术，是通过信道、功率和调制方式等传输参数的优化来提高系统性能。

强化学习通过奖惩原则来优化决策，是一种人工智能算法。Q学习是一种使用最广泛的强化学习算法，已经成功应用于认知无线电网络的动态资源分配。认知无线电领域中，常用的Q学习分为单Agent Q学习和多Agent Q学习。多Agent Q学习算法又包括多Agent Q独立学习和多Agent Q合作学习，其算法通常将Q值初始化为0或较小的随机数，这将会影响算法的寻优效率。而相较于多Agent Q合作学习，多Agent Q独立学习算法的性能也较差。

案例推理也是一种人工智能技术，通过与历史案例的匹配，借鉴历史案例的经验来指导新问题的解决。现有的案例推理与Q学习结合算法的研究大多是单独考虑信道或功率的分配，在信道和功率联合分配中的应用未见报道。因此，本发明提出基于案例推理与合作Q 学习的认知无线电资源分配算法。

发明内容

本发明是针对传统Q学习算法中存在的收敛速度慢的问题，提供一种基于案例推理与合作Q学习算法，实现分布式认知无线电网络的信道和功率分配。

本发明采用的算法具体包括以下步骤：

步骤1、随机初始化若干案例，给定学习速率α、折扣因子γ、初始温度参数T₀和总迭代次数I，利用传统Q学习算法进行学习，构建成案例库；

步骤2、当前新案例和案例库中历史案例进行匹配，检索出最相似案例的Q值，对该Q值归一化后作为迭代的初始Q值；

步骤3、认知用户感知当前状态s_t，根据动作策略选择动作a_t，执行后得到奖赏值r_t和下一状态s_t+1；

步骤4、比较当前时刻所有认知用户的奖赏值总和和前一次迭代时刻的总奖赏值的大小，若则各Agent进行独立学习；若则Agent间进行合作学习；

步骤5、根据不同的学习方式进行Q值更新，并更新温度参数

步骤6、重复步骤3～5，直到达到总迭代次数。

步骤1具体包括如下内容：

案例库构建：随机初始化若干案例C_k，进行传统的Q学习，得到最终状态-动作函数Q值和认知系统的能量效率；将每个案例的环境因子保存为特征向量V_k，可表示为：

其中，n表示案例的特征个数；将最终Q值保存为解决方案Y_k，将认知系统的能量效率保存为案例效用值E_k，从而构建成案例库。

步骤2具体如下：