[发明专利]一种基于强化学习的宽带频谱感知方法

权利要求书

1.一种基于强化学习的宽带频谱感知方法，其特征在于：包括

S1：分时分频序贯宽带感知搜索建模；

S2：基于马尔科夫决策过程的最优序贯感知搜索；

S3：基于蒙特卡洛树搜索的快速序贯感知搜索；

所述分时分频序贯宽带感知搜索建模为：认知无线电节点通过智能决策每个时隙的观测输入，从而有选择性地更新对各个信道状态的置信估计值，所述认知无线电节点的最优感知策略表示为：

其中，T为总共可用的感知间隙数目，期望E[·]由T个时序的序贯感知数据的联合概率分布所定义，c_S(d_t-1,d_t)为从第d_t-1个信道切换到第d_t个信道的代价，在感知时隙t，认知无线电节点做出当前的感知决策d_t∈{0,1,…,L}，其中d_t＝0表示终止感知行为；d_t取其他值表示在时隙t感知信道d_t，q^l为第l个信道的质量，表示认知无线电节点基于T个时隙观测后认为信道l处于“空闲”状态的概率，为定信道l为“空闲”获得的期望奖励；

所述认知无线电节点利用感知采集得到数据，可以迭代更新对各个信道状态的置信估计，

其中和分别表示信道d为“忙碌”或“空闲”的情况下，感知采样数据为y的似然函数，由公式(2)可知，置信估计的更新取决于和采样获取的数据当信道d的需要感知发现的无线系统信号强而信道噪声弱时，观测似然函数和f₁^d(y)的距离比较大；

所述马尔科夫决策过程和最优策略定义的基础上，对分时分频序贯宽带感知搜索问题所对应的状态空间、动作空间、奖励函数和转移函数进行建模，具体为：

S2.1：每个时刻，状态空间的每个状态可以定义为其中表示在观测t-1个时隙的数据后，当前时刻认知无线电节点对各个信道状态的置信估计，λ_t-1表示在t-1时隙结束认知无线电节点所处的信道；

S2.2：对于动作空间则d_t代表认知无线电节点的可选择的感知行为，即d_t∈{0,1,…,L}，其中d_t＝0表示终止感知行为，并基于当前所获得信息完成频谱状态决策，d_t＝l0则表示感知第l个信道；

S2.3：奖励函数r(s,a)定义为

其中c_S(i,j)为从第i个信道切换到第j个信道的代价，

S2.4：态转移函数p(s_t,a_t,s_t+1)表示在时刻t的情况下，采取动作a_t，状态转移到s_t+1的概率；第t+1时刻认知无线电节点所处的信道λ_t+1等于其信道决策值d_t，对于未观测到的信道l≠d_t，由于没有新的信息输入，其置信值而对于当前正在观测的信道d_t，其置信概率由将在观测到所采样感知的数据后进行更新，其更新公式由贝叶斯公式给出，即

综上，得到状态转移概率为

其中，δ(·)为狄拉克函数，g^-1(·)为函数g(·)的拟映射，表示在给定的条件下观测值的概率密度函数，即

所述基于蒙特卡洛树搜索的快速序贯感知搜索具体通过迭代的方式动态生成“决策-观测”的路径以及决策子树，并且完成路径上奖励值得统计和更新；

每次迭代包括四个步骤分别为(1)决策树前馈，(2)决策节点展开，(3)蒙特卡洛仿真，(4)感知结果回溯；

所述决策树前馈为

(1)对于决策节点选择第i^*个子节点，其中i^*满足

其中，其中，Q(v)表示从节点开始直到感知终止可以获得的平均奖励值，Q(v)通过蒙特卡洛仿真采样得到；而N(v)表示进行仿真蒙特卡洛仿真的仿真次数；为观测节点；

(2)从观测节点出发，假设则从迁移到子节点应符合在置信估计下对信道λ_τ的观测； 即采样得到输入观测数据并通过数据y按照公式(2)更新得到认知无线电节点得到此时的置信估计并转移至子节点对于新加入的决策节点假设其父节点为则初始化的统计值为和