[发明专利]基于双向长短时记忆网络的动态频谱接入方法

说明书

基于双向长短时记忆网络的动态频谱接入方法，属于认知无线电技术领域，本发明为解决现有频谱共享使用方法未考虑频谱资源的动态性和不完全观测性，应用单一的问题。它包括：通信系统在正交频分多址情况下，每个信道固定分配给一个主用户，主用户依据自主接入策略传输信息，次级用户在每个时隙依据历史动作数据预测信道占用状态，选取其中一个未占用信道传输信息；次级用户传输信息方法包括：采用双向长短时记忆网络优化DQN强化学习算法，形成DBRQN算法模型；将历史动作数据输入DBRQN算法模型预测动态频谱空洞；感知预测到的动态频谱空洞，获取最优信道接入策略，然后动态接入空闲频谱空洞，实现动态频谱共享。本发明用于频谱共享。

技术领域

本发明涉及一种动态频谱接入方法，属于认知无线电技术领域。

背景技术

现代通信技术迅速发展，适用于通信的电磁波频段被陆续划分给特定用户，频谱资源由于日益稀缺成为关键战略资源。现行的固定频谱分配策略是将固定频段授权给相关用户，将这些用户称为授权用户，其对相应频段独自占用，非授权用户不得利用该频谱资源进行通信。如果频谱资源被空闲用户长期占用将会导致频谱浪费，因此引入了认知无线电技术。

认知无线电技术是一种基于感知和共享的频谱高效利用方式。网络区分主用户和次级用户。主用户即为授权用户，但与固定分配不同，认知无线电中次级用户被允许共享空闲频段，如何在不影响主用户通信同时最大限度的利用空闲频点成为频谱共享关键。

目前频谱共享使用的主要技术有传统的基于着色理论、基于拍卖机制、基于动态规划算法的分配方法。但这些方法没有考虑频谱资源的动态性以及不完全观测性，应用场景比较单一，面对复杂场景效果较差。

发明内容

本发明目的是为了解决现有频谱共享使用方法未考虑频谱资源的动态性和不完全观测性，应用单一的问题，提供了一种基于双向长短时记忆网络的动态频谱接入方法。

本发明所述基于双向长短时记忆网络的动态频谱接入方法，该动态频谱接入方法包括：

通信系统在正交频分多址的情况下，每个信道固定分配给一个主用户，主用户依据自主接入策略传输信息，次级用户在每个时隙依据历史动作数据预测信道占用状态，并选取其中一个未占用信道传输信息；

次级用户传输信息的方法包括：

采用双向长短时记忆网络优化DQN强化学习算法，形成DBRQN算法模型；

将历史动作数据输入DBRQN算法模型中，预测动态频谱空洞；

次级用户感知预测到的动态频谱空洞，获取最优信道接入策略，然后动态接入空闲频谱空洞，实现动态频谱共享。

优选的，DBRQN算法模型的训练方法包括：

S2-1、初始化多个主用户的参数和信道占用情况；

S2-2、初始化次级用户智能体的网络权重参数，同时初始化经验回放池；

S2-3、次级用户输入历史感知信道标号和历史感知结果序列数据，以随机的感知结果序列作为初始启动数据，输出值Q最大的最优动作，同时输出一个0至1的随机数，当随机数大于预先设置的阈值时选取输出的值Q最大的最优动作，当随机数小于预先设置的阈值时采用随机动作进行随机探索；逐步减小阈值，使随机探索的概率随训练的进行逐步减小；

S2-4、将历史动作数据输入环境模拟器，从环境模拟器的反馈获取奖赏，当环境模拟器中的历史动作数据传输成功获得正反馈，当当环境模拟器中的历史动作数据传输未成功获得负反馈；同时，环境模拟器自动生成下一个状态；环境模拟器根据获取的奖赏和下一个状态合并生成下一个时隙的输入向量；

S2-5、将动作、S2-4获取的奖赏、下一个状态和下一个状态的动作组成元组，将该元组存入经验回放池；