[发明专利]一种基于Q学习的资源分配方法

说明书

本发明涉及一种基于Q学习的资源分配方法，属于通信技术领域。在该方法中，工作在免授权频谱的蜂窝小基站根据网络流量的实时情况，动态地为D2D‑U用户分配发射功率和时间资源，在保证同一频段上蜂窝用户的通信质量的条件下，使得D2D‑U系统与WiFi系统公平共存，同时最大化共存系统的吞吐量。在该方法下，蜂窝小基站充当智能体，智能体的动作定义为发射功率和免授权信道占空比的不同组合，智能体的状态由蜂窝用户的信噪比、共存系统的吞吐量和公平性的不同组合所组成。本发明能够提升用户的通信质量，提高异构系统在免授权频段上的公平性，同时获得较高的共存系统吞吐量。

技术领域

本发明属于通信技术领域，涉及一种基于Q学习的资源分配方法。

背景技术

随着智能终端的快速普及，使得无线通信技术演进的需求更为迫切。为了在一定程度上缓解数据流量的增长，D2D(Device to Device)通信被提出。D2D通信是邻近通信，相比于传统的蜂窝通信的上下行传输，D2D通信不需要经过小基站而直接进行数据传输，具有邻近增益，传播时延低。此外D2D通信可以复用蜂窝系统的频谱资源，具有复用增益，有效地提升了系统的频谱效率。但是随着移动流量急速增长，授权频段资源日益紧张，再将D2D通信部署到授权频段，无疑会增加授权网络的压力。为了寻求更多的频谱资源，一些研究人员提出将D2D部署在免授权频段(D2D Communication in Unlicensed Spectrum，D2D-U)，辅助授权频段进行数据传输。

考虑到5G免授权频谱段更加干净，D2D-U被建议部署在5G频段。在5G免授权频段，WiFi是主要玩家。WiFi系统是采用自适应分布式控制(Distributed CoordinationFunction，DCF)机制，该机制是带有冲突避免的载波监听多路访问机制(Carrier SensingMultiple Access with Collision Avoidance，CSMA/CA)的多址接入方式，WiFi用户在传输前需要对信道进行侦测。而在蜂窝网络中是小基站直接分配信道资源给D2D用户。从而将D2D直接部署在免授权频段，而不对接入方式做出改变会严重影响免授权频段已有WiFi系统的性能。目前D2D-U与WiFi共存的机制主要有两种：“先听后说”(Listen before Talk，LBT)机制和占空比(Duty-Cycle)机制。LBT机制采用CSMA/CA机制来避免与WiFi用户潜在的传输冲突。在Duty-Cycle机制中，两个系统之间并没有信息的交互，而是D2D-U系统根据某种特定的时分模式周期性的打开或关闭自己的数据发送，不进行数据传输的时间让出信道资源给WiFi用户使用。

免授权频段更适合短距离通信，主要有以下两点原因：1)免授权频段主要考虑5GHz，5GHz频率高，信道衰落大；2)免授权频段有发射功率限制。由于D2D通信是两个终端设备的邻近通信，发射功率低，非常适合部署在免授权频段。现有5GHz频段已部署LTE-U和WiFi系统，在其上部署D2D系统，如果没有一种合适的共存方式，会严重影响LTE-U和WiFi系统的通信质量。因此提出一种公平的资源分配机制来保证同一免授权频段上的LTE-U、D2D和WiFi系统和谐共存具有重要意义。

发明内容

鉴于此，本发明提供了基于Q学习的资源分配方法，该方法使得工作在免授权频段的小基站能够根据实时的网络流量情况，动态地为D2D用户分配发射功率和时间资源，在保证同一频段上蜂窝用户的通信质量的条件下，使得D2D-U系统与WiFi系统公平共存，同时最大化共存系统的吞吐量。在该方法下，蜂窝小基站充当智能体，智能体的动作定义为发射功率和占空比的不同组合，智能体的状态由蜂窝用户的信噪比、共存系统的吞吐量和公平性的不同组合所组成。本发明能够提升用户的通信质量，提高异构系统在免授权频段上的公平性，同时获得较高的共存系统吞吐量。

为达到上述目的，本发明提供如下技术方案：

一种基于Q学习的资源分配方法，包括以下步骤：