[发明专利]一种基于DDPG的非授权频谱占空比共存方法

说明书

本发明涉及一种基于DDPG的非授权频谱占空比共存方法，属于无线通信中的频谱资源分配技术领域。首先，建立以NR ON阶段的时间占比为变量，在满足NR系统和Wi‑Fi系统内用户的整体公平性约束的前提下，最大化一个占空比周期内NR系统吞吐量的优化模型；其次，将优化模型转化为具有连续动作空间的马尔可夫过程；最后，用DDPG方法进行求解转化的马尔可夫过程，实现非授权频段内使用占空比机制下NR用户和Wi‑Fi用户之间的友好共存。相较现有方法中将NR ON阶段时间占比离散化求解的方式相比，所述方法解决了NR ON阶段的时间占比这一连续动作的确定，更有利于找到全局最优的NR ON阶段时间占比。

技术领域

本发明涉及一种基于DDPG的非授权频谱占空比共存方法，属于无线通信中的频谱资源分配技术领域。

背景技术

随着第五代移动通信(the fifth generation mobile communication,5G)技术的发展，也即新空口(New Radio,NR)技术的成熟，例如物联网、高清视频、虚拟现实等的发展，人类对数据流量的需求急剧增加。而数据业务的传输需要占用一定的频谱，大规模增加的数据需求使得有限的授权频谱资源非常紧张，一方面，通过提升频谱使用效率可进行一定程度的改善；另一方面，将授权频谱上传输的数据卸载到非授权频谱上进行传输，是近年来广泛受到关注的一项技术。非授权频段主要包括2.4GHz频段和5GHz频段范围，其中2.4GHz频段已经非常拥挤，因此将授权频段上待传输的数据，以蜂窝网数据为主，卸载到5GHz非授权频段范围上传输，可一定程度上缓解授权频段大量数据待传输的难题。

Wi-Fi系统是非授权频段上的主要使用者，其使用分布式接入方式对信道进行争用。而授权频段上的蜂窝系统，以NR系统为主，使用的是基站对用户(user equipment,UE)的集中调度方式进行数据传输。不同类型的传输方式也对非授权频段上NR用户和Wi-Fi用户间的友好共存带来了难题。目前已有多项共存技术被提出，包括占空比(duty cycle)方法、传输前侦听(listen-before-talk,LBT)方法、几乎空白子帧方法、白空间方法等等。

其中，占空比方法主要被中国、美国、韩国等国家使用，它将固定时长的周期在时域上分为NR ON阶段和NR OFF阶段，分别供NR系统和Wi-Fi系统传输数据，时域资源的划分也减小了NR系统和Wi-Fi系统之间的干扰。如何划分NR ON阶段和NR OFF阶段两者的时间占比也成为了学术界和工业界的一个研究热点，可根据信道状况、两个系统的负载情况等方面来确定。

NR ON阶段和NR OFF阶段两者的时间占比本质上属于资源分配问题，传统上可由凸优化理论、博弈论、排队论等数学工具来解决。近年来，随着人工智能技术的发展，一些机器学习方法被逐渐应用到资源分配问题之中，且具有较好的性能表现，例如Q-learning、deep Q network(DQN)等方法。然而目前使用这些方法只能解决离散动作空间的问题，对于NR ON阶段和NR OFF阶段两者的时间占比这一连续变化量便无能为力。因此，寻求一种可以解决时间占比连续动作空间问题的方法，例如深度确定性策略梯度(deep deterministicpolicy gradient,DDPG)方法，并能够具有良好的性能表现，具有重要的研究意义。

发明内容

本发明的目的在于针对现有解决非授权频谱占空比共存方法只适用于离散动作空间，无法适用于连续动作空间的技术缺陷，提出了一种基于DDPG的非授权频谱占空比共存方法，用于自适应确定占空比周期内NR ON阶段和NR OFF阶段时间占比。

本发明的核心思想是：建立以NR ON阶段的时间占比为变量，在满足NR系统和Wi-Fi系统内用户的整体公平性约束的前提下，最大化一个占空比周期内NR系统吞吐量的优化模型；再将优化模型转化为具有连续动作空间的马尔可夫决策过程，并用DDPG方法进行求解，得到变量的最优值，以实现非授权频段内使用占空比方法下NR用户和Wi-Fi用户之间的友好共存。