[发明专利]基于强化学习的智能频谱协同感知方法

说明书

本发明公开一种基于强化学习的智能频谱协同感知方法，应用于频谱感知领域，本发明的方法对每个次用户SU_k，当到达一个呼叫请求时，首先根据基于Q‑Learning技术学习各次用户最近的信道状态得到的信道优先级列表，做出感知信道的决定以最小化扫描开销；其次，节点在检测信道时可以请求其他SU进行协作频谱感知来提高检测概率，通过bandit赌博机机制选取检测能力强的次用户进行协作来提高检测概率；一旦信道被检测完成，则广播被检测信道的状态和检测权重以通知其他次用户，本发明方法有效减少了信道的平均扫描次数并且降低了呼叫阻塞率，提高了检测概率。

技术领域

本发明属于无线移动通信网络中的频谱感知技术领域，具体涉及无线移动通信网络中的协作频谱感知方法。

背景技术

随着信息产业尤其是无线移动通信业的迅猛发展，无线频谱资源的需求量剧增，频谱资源的稀缺性与现有固定的无线电频谱资源分配策略的低效性之间的矛盾日趋明显，提高频谱利用率已经成为无线通信亟待解决的核心问题。面对无线通信频谱资源稀缺问题的严峻挑战，改变传统的固定资源分配为动态资源分配，从而有效提高频谱资源利用率得到越来越广泛的研究。

在现有的认知无线电网络中，用户可以分为两类：主用户(Primary User,PU)和次用户(Secondary User,SU)。其中主用户具有频谱的优先使用权，是被授权使用频谱的用户；次用户在不对主用户正常通信构成威胁的情况下，可以和主用户共用频谱资源，从而实现频谱共享，提高频谱利用率。

传统的本地频谱感知主要有基于发射机的检测算法，其中能量检测算法不需要任何先验信息，根据特定频段特定观测时间内接收信号的总能量判断可用频谱；匹配滤波器方法，此方法需知授权用户信号先验信息，采用检测信噪比最大化，只可以用来检测一些特定的信号；循环平稳特征检测算法利用信号的周期自相关特性和噪声信号的无相关特性可实现信号与噪声分离，即通过分析循环自相关函数或者二维频谱相关函数的方法得到信号频谱相关统计特性；还有协方差矩阵检测算法，利用主信号的相关性建立信号样本协方差矩阵，并以计算矩阵最大、最小特征值比率的方法做出判决。

协作频谱感知是多个用户同时对频谱进行本地检测，每个协作用户都将检测结果发送给融合中心，融合中心采取一定的融合准则对协作用户的认知结果进行合并处理，并进行频谱决策，以降低单个用户检测的不准确性来提高检测性能。决策硬融合算法对协作用户的一位二进制决策信息0/1进行合并处理，传送开销较小但准确性较低。决策软融合算法是根据不同信道条件下各节点检测结果的置信度不同，将检测信息进行决策加权或者其他形式的处理后再进行融合，实现了检测性能和传送开销之间的折中。

在认知无线电网络中，首先由于PU对信道的占用情况对SU来说是未知的，故SU需要逐次检测PU对每个信道的占用情况，故上述传统算法都会造成过度的扫描开销和延迟，适当选择授权信道的感知和接入序列对决定平均时延和有效吞吐量起着至关重要的作用；其次由于节点检测能力易受衰弱和阴影效应的影响，节点的检测能力是动态变化的，如何在节点检测能力动态变化的情况下选取合适的次用户进行合作也是一个值得关注的问题。为了缓解上述两个问题，近年来，基于强化学的研究越来越广泛，强化学习是一种在线学习算法，智能体和外部环境通过奖励机制进行交互，根据在环境中得到的奖励值来调整自身行为，使得智能体学习并适应外部环境，促使智能体选择能够在环境中获得使自身最大奖励的行为。可将强化学习的这种学习并适应于外部环境的特性应用于认知无线电网络，使智能体分别对变化的信道状态和协作用户的动态检测能力进行学习，最终选择空闲可能性大的信道和检测能力强的次用户进行协作频谱感知，以减少信道状态扫描开销并提高信道检测概率。

发明内容

为解决上述技术问题，本发明提出一种基于强化学习的频谱感知方法，有效减少了信道的平均扫描次数并且降低了呼叫阻塞率，提高了检测概率。

本发明采用的技术方案为：一种基于强化学习的频谱感知方法，当一个呼叫请求到达次用户SU_k时，具体包括以下步骤：