[发明专利]一种基于强化学习的认知无人机频谱感知方法

说明书

本发明属于移动通信技术领域，提供一种基于强化学习的认知无人机频谱感知方法，涉及认知无线电技术，为空闲频谱的高效利用提供了一种有效频谱感知方法。由于无人机具有部署方便、灵活性高等特点，本发明利用无人机搭载认知无线电设备感知网络中的空闲频谱，相比传统基站式感知方法，该方法可以有效对局部地区的频谱进行感知。本发明基于强化学习算法设计最优无人机飞行轨迹，以无人机位置和频谱感知结果为状态，飞行为动作，通过对不同状态下的不同动作进行评估，同时考虑感知的虚警和误警概率，智能化地制定和改进轨迹策略，最大化感知到的空闲频谱带宽。该方法不依靠具体的频谱状态统计模型，无人机飞行感知轨迹可以自适应频谱环境的动态变化。

技术领域

本发明属于移动通信技术领域，具体涉及一种基于强化学习的认知无人机频谱感知方法。

背景技术

随着5G时代的到来，大量智能终端设备接入移动通信网络，带来了海量数据传输需求，这需要大量的频谱资源作为支撑，频谱短缺已成为移动通信网络发展的痛点问题。

根据频谱监测结果显示，目前网络对频谱的利用率偏低，在不同时间、不同地点都存在大量频谱闲置现象，这与网络对频谱的巨大需求形成强烈矛盾，如何有效挖掘这些频谱空洞并进行合理使用是提高频谱利用效率的关键。

认知无线电能够感知和利用在空间的可用频谱，并限制和降低冲突的发生。频谱感知是认知无线电的重要环节，其通过监听各频带的使用状态，使得认知无线电能够有效捕捉空闲频带，进而实现对空闲频谱的动态占用。频谱使用的主用户被定义为授权用户，是指获得频带使用许可的个人或团体，该发明就是对一定范围内主用户的频谱使用情况进行感知，尽可能多的发现空闲频段，实现对空闲频段的高效利用。目前广泛采用的方法是设置基站来进行频谱感知，或者利用终端设备自己进行频谱感知。如果采用固定基站或移动基站来感知空闲频谱供设备使用的话，由于是一种大范围的粗略感知，难以捕捉局部地区的频谱空洞，会存在利用率较低的缺点。如果采用终端设备自己感知的方法，由于终端设备硬件条件有限，可能会难以承担感知需要的大量能耗。

考虑到无人机具有移动性强、部署能力好、灵活性高等优点，本发明利用无人机搭载认知无线电设备进行频谱感知，以发现网络不同区域的空闲频谱，并将相关信息汇报给基站和终端设备，用于网络中的数据传输。

然而，认知无线电的感知结果有时候会不太准确，可能会把频带实际空闲判断成被占用，也可能把实际被占用判断成空闲。本发明设定频带空闲为0，频带被占用为1。把0判断成1的概率被定义为虚警概率，它与接收的信噪比有关，当信噪比较小时，认知无线电可能会误将噪声判断成信号，造成感知错误。把1判断成0的概率被定义为漏警概率，它与信号功率和判决设置的门限值(门限值是指当信号功率大于该值时，认为有信号存在)有关，当无人机感知设备距离目标频带较远时，可能会因为接收到的信号功率较低，低于设置的接收门限，将实际被占用判断成空闲，造成感知错误。

发明内容

本发明提出了一种基于强化学习的认知无人机频谱感知方法，利用无人机搭载认知无线电设备在网络中飞行，并对各区域频谱进行感知，捕捉空闲频谱供设备动态接入。在实际网络中，由于环境的动态性，不同区域的电磁环境和噪声分布情况各不相同，也会带来不同的虚警概率和漏警概率。同时，不同区域的频谱占用情况不同，且会动态变化。因此，为了最大化无人机在飞行过程中感知到的空闲频谱带宽，本发明设计了基于强化学习的最优无人机飞行轨迹策略，使无人机在与环境的交互过程中不断学习，自适应地规划轨迹，尽可能多的感知空闲频段。为了使无人机尽可能为多个地点进行服务，本发明中加入了Jain平滑指数来提高无人机服务的公平性，避免了无人机只在一个地点或者少数几个地点进行频谱感知的情况。该方法具有更高的现实适用性和更高的频谱感知效率，能够根据不同地点主用户的分布和频谱使用特征更灵活地设计频谱感知策略。

本发明的技术方案：

一种基于强化学习的认知无人机频谱感知方法，