[发明专利]基于案例推理与合作Q学习的认知无线电资源分配方法

摘要

本发明公开了一种基于案例推理与合作Q学习的认知无线电资源分配方法。本发明结合了案例推理技术、合作算法与Q学习算法，实现信道和功率的联合分配。首先确定奖赏函数，对若干个随机资源分配案例利用传统Q学习算法进行学习，构建案例库以存储案例的特征值、Q值和效用值；然后通过匹配检索出与当前案例最相似案例，提取其Q值并归一化后作为新案例的初始Q值；接着根据奖赏值大小，采用合作算法融合Q值，通过借鉴其他用户的经验来进行学习。本发明针对传统Q学习收敛速度慢的问题，引入案例推理技术来加快算法的初始寻优速度，同时通过用户间合作加快整体的学习效率。

主权项

1.基于案例推理与合作Q学习的认知无线电资源分配方法，其特征在于该方法的具体内容为：步骤1、随机初始化若干案例，给定学习速率α、折扣因子γ、初始温度参数T₀和总迭代次数I，利用传统Q学习算法进行学习，构建成案例库；步骤2、当前新案例和案例库中历史案例进行匹配，检索出最相似案例的Q值，对该Q值归一化后作为迭代的初始Q值；步骤3、认知用户感知当前状态s_t，根据动作策略选择动作a_t，执行后得到奖赏值r_t和下一状态s_t+1；步骤4、比较当前时刻所有认知用户的奖赏值总和和前一次迭代时刻的总奖赏值的大小，若则各Agent进行独立学习；若则Agent间进行合作学习；步骤5、根据不同的学习方式进行Q值更新，并更新温度参数步骤6、重复步骤3～5，直到达到总迭代次数。