[发明专利]基于有先验知识强化学习的动态频谱接入方法

说明书

本发明公开了一种基于有先验知识强化学习的动态频谱接入方法，属于电磁频谱技术领域。首先次用户获取频谱接入环境信息；然后确定网络的频谱接入评估模型，采用MOS模型作为接入评估模型；然后构建先验知识，获取系统中已有次用户的环境知识，并利用所获取的环境知识构建先验知识；然后根据先验知识进行Q学习，得到次用户的Q表信息；最后根据学习得到的Q表信息进行动态频谱接入。并且，本发明利用贪婪算法，对Q学习时的动作选择过程进行了优化，避免Q学习时陷入局部最优。本发明通过构建和利用先验知识，有效提升学习效率和系统动态频谱接入性能。

技术领域

本发明属于电磁频谱技术领域，具体涉及一种基于有先验知识强化学习的动态频谱接入方法。

背景技术

随着无线应用环境的不断拓展，一方面，通信系统对无线资源的需求导致频谱资源的匮乏；另一方面，现有的静态频谱资源管理造成频谱资源利用率低下。近年来，动态频谱接入(DSA)的频谱使用方式引起了学者们的关注，认知无线电(CR)是其中的热门研究方向之一，其主要思想是在不对拥有频谱授权的授权用户(PU)产生有害干扰的前提下，具有频谱感知能力的次用户(SU)主动感知频谱使用情况，“伺机”接入空闲信道进行通信。

动态频谱接入技术在学术界的成果较多。例如文献(AKBARZADEH N,MAHAJANA.Dynamic spectrum access under partial observations:A restless banditapproach[C],Canadian Workshop on Information Theory.2019:1-6.)将多信道传输条件下的动态频谱接入问题建模为部分可观测马尔可夫决策过程(POMPDP)，并使用Whittle索引激发法来辅助决策，仿真结果表明，当模型可索引时，用户在具有最小的Whittle索引信道上传输为最优策略。文献(YANG H,CHEN H.Energy-efficient channel accessconsidering data priority in cognitive radio sensor networks[C],InternationalConference on Software,Telecommunications and Computer Networks.2019:1-5.)在认知无线电传感器网络(CRSN)中，考虑到每个节点传输数据量的差异，提出一种基于数据优先级和能耗最小化的动态信道访问方案，该方案根据每个节点的数据优先级来分配功率，然后为每个节点合理分配传输时间，以最大程度地减少能耗。为了适应授权用户的信噪比和吞吐量要求，文献(GURAJAPU S,RAJ S,CHOUSHAN S.Spectrum Allocation and PowerManagement using Markov Chains and Beam-forming in Underlay Cognitive Radios[C],International Conference on Software,Telecommunications and ComputerNetworks.2019:1-6.)利用马尔可夫链对认知无线电系统的动态频谱分配过程进行建模，将马尔可夫链模型和波束赋形技术相互结合，基于该方案的动态频谱分配在授权用户吞吐量方面有了显著改善。文献(PASTIRCAK J,GAZDA J,KOCUR D.A survey on the spectrumtrading in dynamic sp-ectrum access networks[C],International SymposiumElectronics in Marine.2014:135-138.//ZHAO Q,SADLER B M.A Survey of DynamicSpectrum Access[J].IEEE Signal Process,2007,24(3):79-89.//SHARMILA A,DANANJAYAN P.Spectrum Sharing Techniques in Cognitive Radio Networks–A Survey[C],International Conference on System,Computation,Automation andNetworking.2019:1-4.)中分别介绍了三种常用的动态频谱接入模型：开放式共享模型(open sharing model)、授权频谱共享模型(shared use model)以及动态独占模型(dynamic exclusive use model)。开放式共享模型使所有用户机会均等地使用频谱资源，但容易造成干扰问题；授权频谱共享模型降低了对授权用户的干扰，但限制了次用户的发射功率；动态独占模型避免了额外有害干扰的产生，但仅允许授权用户之间实施动态频谱分配。