[发明专利]基于深度强化学习的信道接入和能量调度方法、装置

权利要求书

1.一种基于深度强化学习的信道接入和能量调度方法，其特征在于：

用户设备模块获取用户设备UE i的前T1个时隙信息在每个信道发送成功与否的状态和用户设备UE i的电池剩余容量作为输入信息，将输入信息输入该用户设备UE i对应的训练好的深度强化学习网络，深度强化学习网络输出用户设备UE i的最优动作，i＝1，2，…，N，N为用户设备UE总数，大于等于信道数；

其中：

T1为设定值；

所述动作为用户设备UE i在时隙t时刻选择消耗能量发送信息给接入点或用户设备UE在时隙t时刻选择挂起不发送信息。

2.根据权利要求1所述的方法，其特征在于，用户设备UE i的电池剩余容量满足能量模型；

在能量模型中，用户设备UE i收集能量存放到其对应的电池中，收集能量的过程满足马尔科夫性，若电池容量达到上限B_max，则丢弃多余的能量，用户设备UE i发送信息给接入点消耗能量；

用户设备UE i从时隙t到t+1的电池演变方程为：

B_i[t+1]＝min{B_max，B_i[t-1]-P_i[t]+E_i[t]}

B_i[t+1]为用户设备uE i时隙t+1时刻的电池剩余容量，B_i[t-1]为用户设备UE i时隙t-1时刻的电池剩余容量，P_i[t]为用户设备uE i时隙t时刻发送信息时的能量消耗值，E_i[t]为第i个uE在时隙t时刻收集到的能量。

3.根据权利要求1所述的方法，其特征在于，用户设备UE i前T1个时隙信息在每个信道信息发送成功与否的状态，采用1×(T1×K)的向量H_i[t]记录，其中，K为信道数；从第1个元素开始，每K个元素表示一个时隙的信息发送成功与否的状态，元素值为对应的信道状态，信道状态为信道中能够发送的信息数量值。

4.根据权利要求3所述的方法，其特征在于，信息发送满足信道模型，在信道模型中，如果有超过1个用户设备UE同时选择了同一个信道发送信息，则这个信道上会发生信息碰撞，所有选择这个信道发送信息的用户设备UE都会发送失败，接入点AP收不到信息。

5.根据权利要求1所述的方法，其特征在于，深度强化学习网络的实现包括下述步骤：

S1、将用户设备模块获取的用户设备UE i的输入信息整合为当前状态s_i[t]，i＝1，2，…，N，N为用户设备uE总数；

S2、采用ε-greedy算法选取动作A_i[t]，i＝1，2，…，N；

S3、用户设备uE i执行选取的动作A_i[t]，i＝1，2，…，N；

S4、基于各个用户设备UE的动作A_i[t]，获得动作集合A[t]＝{A_i[t]，i＝1，2，...，N}；

S5、基于动作集合A[t]，获得一个大小为1×N的向量R[t]表示奖励向量，奖励向量中的每个值为对应uE所获得的奖励值，同时使环境状态S[t]转移到下一个状态S[t+1]；

S[t]＝{s_i[t]，i＝1，2，...，N}

S[t+1]＝{s_i[t+1]，i＝1，2，...，N)

R[t]＝{r_i[t]，i＝1，2，...，N}

S6、用户设备模块将UE i对应的s_i[t]，A_i[t]，R_i[t]，s_i[t+1]进行保存并更新深度强化学习网络。