[发明专利]一种蜂窝物联网上行资源分配方法及电子设备

权利要求书

1.一种蜂窝物联网上行资源分配方法，其特征在于，包括：

将蜂窝物联网的每个边缘节点和每个直传节点均作为智能体，对所述智能体执行如下操作，直至达到预设迭代次数：

所述智能体根据所述智能体当前系统状态采用探索-利用策略选取动作空间A_i中的动作a_i并执行所述动作a_i；

根据执行的所述动作a_i通过奖励函数计算每个所述智能体的奖励值；以及

根据所述智能体的Q函数确定所述智能体当前系统状态下的Q函数，且所述智能体从当前系统状态进入下一系统状态；

基于所述智能体的估计策略、平均估计策略确定所述智能体执行所述动作a_i时的平均估计策略和估计策略；以及

响应于确定所述智能体执行所述动作a_i时的估计策略值大于平均估计策略值，利用学习速率δ_w调整当前的估计策略，否则利用学习速率δ_l调整当前的估计策略，其中δ_lδ_w；

所述智能体执行的以上操作达到所述预设迭代次数，得到最优的所述估计策略；

根据最优的所述估计策略，对所述蜂窝物联网的上行资源进行资源分配。

2.根据权利要求1所述的方法，其特征在于，所述将蜂窝物联网的每个边缘节点和每个直传节点均作为智能体，对所述智能体执行如下操作，直至达到预设迭代次数，之前还包括：

将所述智能体初始的Q函数初始值记作0，确定用于记录系统状态S出现次数的计数器X_i(S)，以及所述智能体初始的估计策略π(S,a_i)、平均估计策略其中，初始的估计策略初始的平均估计策略

3.根据权利要求2所述的方法，其特征在于，所述系统状态S由所述直传节点的状态s_w和所述边缘节点的状态s_n构成，其中，S＝{s_w,s_n,w∈W,n∈N}；

具体的，所述直传节点的状态s_w包括所述直传节点的信道分配系数λ_w,c，所述边缘节点的状态s_n包括所述边缘节点n的信道分配系数η_n,r,c和传输功率控制系数θ_n，其中，λ_w,c＝{0,1}，s_w＝{λ_w,c,w∈W,c∈C}，η_n,r,c＝{0,1}，θ_n＝{0.0,0.2,0.4,0.6,0.8,1.0}，s_n＝{η_n,r,c,θ_n,n∈N,r∈R,c∈C}。

4.根据权利要求3所述的方法，其特征在于，将所述奖励函数记作rew(S,a_i)，若所述智能体为边缘节点，则所述奖励函数rew(S,a_i)的算法为：

若所述智能体为直传节点，则所述奖励函数rew(S,a_i)的算法为：

5.根据权利要求4所述的方法，其特征在于，所述确定所述智能体当前系统状态下的Q函数计算方法为：

将所述Q函数的记作Q_i(S,a_i)，

其中，δ_q表示Q函数学习速率，β表示累计奖励折扣系数，分别为下一次到达的系统状态和执行的动作。