[发明专利]一种基于DDPG的非授权频谱占空比共存方法

权利要求书

1.一种基于DDPG的非授权频谱占空比共存方法，规定非授权频谱的场景为：K个Wi-Fi接入点和1个NR基站共享C个非授权子信道；1个NR基站服务N个UEs；每个Wi-FiAP服务M^k个Wi-Fi用户，并且为了减小干扰，不同Wi-Fi AP使用不同的非授权子信道；其中，在Wi-Fi系统中，接入点，全称access point，简写为AP；用户，即station，简写STA，所述非授权频谱占空比共存方法，其特征在于：包括以下步骤：

步骤一、遍历k，求解所有Wi-Fi AP服务下Wi-Fi数据包的传输概率和碰撞概率；

其中，k的取值范围为1到K；第k个Wi-Fi AP服务下Wi-Fi数据包的传输概率，记为碰撞概率，记为

传输概率和碰撞概率具体依据(1)和(2)计算：

其中，CW_min表示竞争窗口的初值，I表示最大退避次数；

其中，竞争窗口初值CW_min以及最大退避次数I基于Wi-Fi系统中采用载波侦听多点接入冲突避免中的二进制指数退避方式和碰撞确定；碰撞是Wi-Fi STA在接入信道时发生的，碰撞发生时采用二进制指数退避方式进行退避；

传输概率基于建模的二维马尔可夫链得到；二维马尔可夫链对应每一个Wi-Fi AP的行为过程，为Bianchi马尔可夫模型；

步骤二、遍历k，计算Wi-Fi系统中每个Wi-Fi AP的吞吐量；

其中，第k个Wi-Fi AP所服务用户总的吞吐量定义为单位时间内成功传输的数据量；

第k个Wi-Fi AP所服务用户总的吞吐量，包括如下子步骤：

步骤2.A基于(3)式计算第k个Wi-Fi AP所服务用户中至少一个用户进行传输的概率；

其中，至少一个用户进行传输的概率，记为式中表示传输概率；M^k为每个Wi-FiAP服务的Wi-Fi用户数量；

步骤2.B在第k个Wi-Fi AP的服务范围内，基于(4)式计算一次成功传输的概率：

其中，一次成功传输的概率，记为该概率定义为当至少一个用户发送数据时，只有一个用户成功传输的概率；

步骤2.C依据Wi-Fi系统的吞吐量定义，即公式(5)计算第k个Wi-Fi AP所服务用户总的吞吐量

其中，E[P]表示Wi-Fi数据包的平均长度，T_c、T_s以及σ_idle分别表示Wi-Fi数据包传输发生碰撞、Wi-Fi数据包成功传输、以及信道空闲所占用的时间；

以及分别表示Wi-Fi数据包传输发生碰撞、Wi-Fi数据包成功传输、信道空闲的概率；

步骤2.D基于(6)式计算K个Wi-FiAP所服务用户的总吞吐量也即整个Wi-Fi系统的吞吐量；

步骤三、计算NR系统的吞吐量，具体包括以下子步骤；

步骤3.A基于(7)式计算第n个UE在所分配的非授权子信道上的吞吐量

其中，表示分配给非授权子信道c的带宽，表示分配给第n个UE所有非授权子信道的带宽、表示分配给第n个UE的传输功率，表示基站和UE之间的信道增益，N₀表示噪声的功率谱密度；

步骤3.B基于(8)式计算NR系统的吞吐量也即将N个UE的吞吐量求和；

步骤四、计算一个占空比周期内NR系统和Wi-Fi系统的吞吐量具体为以下子步骤；

步骤4.A分别将T_NR和T_WiFi归一化为θ_NR和θ_WiFi；

其中，T_NR和T_WiFi分别为NR ON阶段和NR OFF阶段的时长，θ_NR和θ_WiFi均为连续变量，分别为NR ON阶段以及NR OFF阶段在整个占空比周期的时长占比，且θ_NR＝T_NR/T_cycle及θ_WiFi＝T_WiFi/T_cycle，且θ_NR+θ_WiFi＝1，T_NR+T_WiFi＝T_cycle，T_cycle表示整个占空比周期的时长；

步骤4.B分别按照(9)和(10)式计算一个占空比周期内NR系统的吞吐量和Wi-Fi系统的吞吐量

步骤五、基于(11)式计算一个占空比周期内NR系统和Wi-Fi系统内用户的公平性

步骤六、建立非授权频谱占空比共存方法的优化模型，具体为：以NR ON阶段时间占比θ_NR为变量，在满足NR系统和Wi-Fi系统内用户的整体公平性约束的前提下，最大化一个占空比周期内NR系统的吞吐量；

步骤七、将步骤六建立的优化模型(12)转化为马尔可夫过程；

其中，马尔可夫过程中的基本元素，包括智能体、动作空间、状态空间以及奖励函数；

步骤八、采用DDPG方法求解步骤七建立的马尔可夫过程，确定占空比周期内NR阶段时间占比θ_NR。