[发明专利]基于DDPG的无线定位网络的资源优化方法

权利要求书

1.一种基于DDPG的无线定位网络的资源优化方法，其特征在于，在离线阶段采用位置推理获得的节点之间的距离以及信道参数作为DDPG网络的状态空间，采用各个节点分配到的带宽和功率作为DDPG网络的动作空间，经收益设置和网络训练后，在在线阶段根据代理节点的当前状态信息通过DDPG网络得到最优的带宽和功率分配方案，实现资源分配；

所述的DDPG网络包括：在线动作(Actor)网络、目标Actor网络、在线评价(Critic)网络、目标Critic网络，其中：在线Actor网络和目标Actor网络均包括：七个隐藏层，除最后一层隐藏层直接是线性输出，其余每一层隐藏层均采用ReLU作为激活函数，从第二个隐藏层开始，后续六个隐藏层分为结构相同的上下两部分：上半部分被训练用于带宽的分配，下半部分被训练用于功率的分配；在线Critic网络和目标Critic网络均包括五个隐藏层，除最后一层隐藏层直接是线性输出，其余每一层隐藏层均采用ReLU作为激活函数。

2.根据权利要求1所述的基于DDPG的无线定位网络的资源优化方法，其特征是，所述的节点之间的距离，通过以下方式得到：无线定位网络中各个节点根据带宽和功率的分配方案测量自身和其他节点之间的距离，再利用TOA定位方法来确定代理节点的具体位置，基于初始的分配方案是均匀分配，每个节点分配到的资源相同，各个节点的带宽功率其中：i∈{1，2，…，N_a+N_b}，该无线定位网络中包括N_a个代理节点和N_b个锚节点，网络可以使用的总带宽和总功率分别为B_total，P_total。

3.根据权利要求1所述的基于DDPG的无线定位网络的资源优化方法，其特征是，所述的DDPG网络的状态空间，采用节点之间的距离与信道参数作为DDPG网络的状态空间，其中：节点之间的距离信息通过测距操作获得，信道参数通过信道估计获得，具体包括：基于平均分配带宽和功率的方案进行测距获得节点之间的距离信息，按照代理节点与某一锚节点之间的远近对代理节点进行排序，再将这些代理节点和锚节点之间的距离和信道参数作为状态空间，以极大的减小网络训练的开销。

4.根据权利要求1所述的基于DDPG的无线定位网络的资源优化方法，其特征是，所述的在线Actor网络以规定状态s_t作为输入，输出动作a_t，并获取此刻的收益r_t，同时转变为下一个状态s_t+1，再将(s_t，a_t，r_t，s_t+1)作为一组训练数据存放到经验池中；

从经验池中随机采样N组(s_k，a_k，r_k，s_k+1)训练数据用于训练DDPG中的四个网络，其中1≤k≤N，则目标Actor网络由状态s_k+1输出动作a_k+1、目标Critic网络根据状态s_k+1、目标Actor网络输出的a_k+1得到对应的评估函数Q′(s_k+1，a_k+1|θ^Q′)、在线Critic网络根据状态和动作(s_k，a_k)输出对应的评价函数Q(s_k，a_k|θ^Q)，其中在线Actor网络和在线Critic网络的网络参数分别是根据抽样策略梯度和损失函数梯度进行更新的：目标网络参数θ^Q′和θ^μ′是通过软更新的方式分别根据在线网络的网络参数θ^Q和θ^μ来更新的：θ^Q′←τθ^Q+(1-τ)θ^Q′，θ^μ′←τθ^μ+(1-τ)θ^μ。