[发明专利]一种认知无线电中信道质量性接入方法

说明书

本发明提供了一种认知无线电中信道质量性接入方法，具体步骤为：本地网络有自己的演员网络与评论家网络，演员网络负责信道选择，与环境进行互动收集交互信息，评论家网络评价演员网络信道选择策略的优劣，但是本地网络不更新梯度，而是将梯度收集起来传递给全局网络，全局网络自身不与环境进行交互，其将各个本地网络收集到的梯度汇总起来，在自身上进行梯度更新，并且将更新后的网络参数再次传给本地网络。本发明综合考虑了信道质量和空闲概率，次用户能够有效避免接入劣质信道，大幅提高接入符合服务质量要求的接入成功率。

(一)技术领域

本发明属于通信技术领域，特别是认知无线电通信技术，具体涉及认知无线电中信道质量性接入方法。

(二)背景技术

随着4G/5G网络的普及，移动设备不断增多，以及云计算、物联网、人工智能等多元学科的产生，新兴通信业务层出不穷。然而，无线频谱作为各类通信业务的运行基础在现有的频谱规划管理下已经变得日益稀缺。现有频谱分配方式具有独占性和排他性，即使授权用户并未使用其被分配到的频段，其他用户也无法使用。认知无线电通过动态频谱接入的方式使用授权频段，在不对授权用户/主用户造成有害干扰的前提下，为提高频谱利用率提供了全新的方案。而次用户感知接入的信道将直接影响次用户的感知延迟，传输性能等方面，其研究迫在眉睫，将成为提高认知无线电系统性能的关键因素之一。

现有的信道接入算法采用序贯检测接入，在感知前确定感知顺序，按照定义好的感知顺序进行感知。序贯检测接入在已知某些信道环境先验信息的条件下，如信道空闲概率、主用户占用规律和信道信噪比等信息，设计信道感知接入顺序。虽然序贯检测接入设计简单，但是其需要知道大部分的环境先验信息，其在实际环境中很难实现。并且序贯检测算法性能很容易受到环境中“劣质信道”的影响，信道虽然空闲程度较高，但是信噪比较小；或者信道虽然较大，但是主用户占用频繁。如基于信噪比序贯检测算法很容易选择信噪比较高但是主用户占用频繁的信道，造成感知接入成功率低；或者基于信道空闲概率的序贯检测算法容易选择空闲程度高但是信噪比较低的信道，造成不符合次用户服务质量要求，次用户获得的吞吐量较低的结果。

深度强化学习在电子游戏、机器人、围棋等领域取得了优秀成功，其可以在缺失大部分环境先验信息的前提下，与环境互动进行学习，从而进行智能决策。本发明将深度强化学习中的异步优势演员评论家网络引入认知无线电中，使次用户可以在未知大部分信道环境先验信息的条件下智能选择符合自身服务质量需求的信道进行感知接入。

(三)发明内容

本发明的目的在于提出一种可以克服序贯检测算法容易受到环境中劣质信道的干扰的缺点与不足；并且在未知大部分信道环境先验信息方法智能选择符合自身服务质量需求的信道进行感知接入的方法。

本发明的目的是这样实现的：

1.1初始化全局网络中的演员网络与评论家网络参数，将全局网络参数赋予本地网络；

1.2本地网络下，次用户根据观测信息组成的观测矩阵以及当前策略选择信道进行接入，次用户感知接入所选择的信道，根据信道状态获得即时回报；

1.3每经过若干轮迭代，本地演员网络与本地评论家网络分别计算梯度，传递至全局网络，并重置本地演员网络梯度和评论家网络梯度；

1.4根据演员网络更新函数更新全局演员网络，根据评论家网络更新函数更新全局评论家网络，将更新后的全局网络参数赋予本地网络；

1.5循环执行步骤1.2至步骤1.4，直至完成所有循环次数后，获得完整神经网络模型。

本发明包括的异步优势演员评论家网络其主要内容为：异步优势演员评论家网络分为两大部分，全局网络和本地网络。全局网络和本地网络的神经网络结构相同，其中演员网络为一层隐藏层，神经元个数为200，激活函数为线性整流函数。评论家网络也为一层隐藏层，神经元个数为200，激活函数为线性整流函数。