[发明专利]一种认知无线电中信道质量性接入方法

权利要求书

1.一种认知无线电中信道质量性接入方法，其特征是：包括如下步骤：

1.1初始化全局网络中的演员网络与评论家网络参数，将全局网络参数赋予本地网络；

1.2本地网络下，次用户根据观测信息组成的观测矩阵以及当前策略选择信道进行接入，次用户感知接入所选择的信道，根据信道状态获得即时回报；

1.3每经过若干轮迭代，本地演员网络与本地评论家网络分别计算梯度，传递至全局网络，并重置本地演员网络梯度和评论家网络梯度；

本地网络中的演员网络进行与环境交互和动作选择，其主要任务为策略学习，其直接对策略进行梯度计算：

其中J(θ)表示策略网络的目标函数；π_θ(s,a)表示在网络参数为θ时，状态s下选择动作a的概率；d(s)表示此次互动所采集到的状态数；表示状态s下选择动作a所获得的即时回报；

本地评论家网络主要用于估计状态价值，评价演员网络动作策略的优劣程度，通过优势函数指导演员网络更新，优势函数为在状态s下，某动作a相对于平均而言的优势，异步优势演员评论家网络中采用多步采样以加速收敛：

A(s,a)＝Q(s,a)-V(s)

＝r_t+1+γr_t+2+...+γ^n-1r_t+n+γⁿV(s')-V(s)

其中V(s)表示状态s的价值，可由评论家网络估计得出，对策略进行梯度计算变为：

1.4根据演员网络更新函数更新全局演员网络，根据评论家网络更新函数更新全局评论家网络，将更新后的全局网络参数赋予本地网络；

全局演员网络的更新函数为：

其中θ表示全局演员网络的参数，A(s,a)表示优势函数，表示该环境状态下动作的优劣程度，H(π_θ'(s))为策略熵，用于增加前期次用户的探索性；

全局评论家网络的更新函数为：

其中μ表示全局评论家网络的参数，r表示次用户获得的即时回报，γ为折扣因子，λ为评论家网络的学习率；

1.5循环执行步骤1.2至步骤1.4，直至完成所有循环次数后，获得完整神经网络模型。

2.根据权利要求1所述的认知无线电中信道质量性接入方法，其特征是：环境中存在多个信道可接入，次用户快速找到并接入符合自身服务质量要求的信道。

3.根据权利要求1所述的认知无线电中信道质量性接入方法，其特征是：所述步骤1.1全局网络和本地网络的神经网络结构相同，其中演员网络为一层隐藏层，神经元个数为200，激活函数为线性整流函数，评论家网络为一层隐藏层，神经元个数为200，激活函数为线性整流函数。

4.根据权利要求1所述的认知无线电中信道质量性接入方法，其特征是：所述步骤1.2每个本地网络独立与环境进行交互，演员网络与评论家网络各自独立，本地演员网络分别独立与信道环境进行交互，评论家网络评估演员网络的动作策略，并且各个本地网络的网络结构都完全相同。

5.根据权利要求1所述的一种认知无线电中信道质量性接入方法，其特征是：所述步骤1.2中的观测矩阵，次用户只能观测到其选择感知信道的状态，其在第t个时隙的观测信息为：

O_t＝[o_1,t,o_2,t,...,o_N,t]

引入暂时记忆机制后，次用户存储前M步的观测信息，M步观测信息组成一个观测矩阵，第t个时刻的观测矩阵可表示为：

S_t＝[O_t-1,O_t-2,O_t-3,...,O_t-M]

与环境互动后获得回报，其回报函数为：

次用户选择感知接入的信道为空闲并且符合自身的服务质量需求，则说明这次的决策正确，获得正反馈回报；若次用户选择感知的信道被主用户占用，则说明这次的决策错误，收到负反馈惩罚；考虑到可能存在某个时段内符合次用户服务质量需求的信道都处于忙状态，设定次用户选择感知接入的信道虽然不符合服务质量需求但为空闲信道，其依然能获得一个较小的正反馈，D_i表示第i个信道的所获得的吞吐量，η为次用户的吞吐量门限，(D_i-η)/η为第i个信道所获得的吞吐量与门限η差值的比值，主要是引导次用户选择更优秀的信道。