[发明专利]一种共生网络中用户关联的方法

摘要

本发明属于无线通信技术领域，涉及一种共生网络中用户关联的方法。本发明目标是找出一种有效的用户关联方案使所有蜂窝用户的速率和最大。因想要获得全部的实时信道信息非常困难，本发明提出利用深度强化学习来进行用户关联，然后根据当前总速率大小自适应地调整用户关联方案。基于深度强化学习的用户关联方法：利用在上一帧采集得到的历史信息，通过深度强化学习来进行当前信道预测，进而为在下一帧作出合适的用户关联决策。本发明不需要实时得到所有链路的信道信息，而是根据历史信息进行预测当前决策的有效信息，进而得到使所有IoT设备合速率最大的用户关联策略。

主权项

1.一种共生网络中用户关联的方法，所述共生网络为由蜂窝网络和物联网IoT网络构成的共生系统，其中，蜂窝网络中的基站BS服务M个蜂窝用户，IoT网络中的N个IoT设备通过反射来自BS的接收信号来将它们的消息发送到相关的蜂窝用户；定义BS在一帧中的一个时隙给用户m传输的信息为x_m，IoT设备n将自己的信息c_n传送给关联的蜂窝用户，令IoT设备的传输周期是BS传输周期的K倍，则用户m接收到的信号为：其中，p是BS的传输功率，α_n表示IoT设备n的反射系数，u_m表示用户m端的复高斯噪声，服从分布并且a_m,n∈{0,1}表示用户关联指数，定义是若a_m,n＝1，则与IoT设备n关联的是用户m；表示从BS到用户m的信道系数，表示从BS到IoT设备n的信道系数，表示从IoT设备n到用户m的信道系数，其中λ_m,λ_n,λ_m,n分别表示大尺度衰落，大尺度衰落和两个通信节点的距离有关；分别表示对应的小尺度衰落，采用Jakes模型表述第t帧的小尺度衰落的变化为：其中m＝1,…,M,n＝1,…,N并且e_m(t),e_n(t),e_m,n(t)是服从的独立同分布的随机变量；是指均值为μ方差为σ²的复高斯，ρ是指不同帧之间的信道相关系数；其特征在于，所述用户关联的方法为：以所有蜂窝用户的速率和最大为目标，建立模型：其中为用户关联指数a_m,n的集合，γ_m,n为用户m端的IoT设备n的信干噪比：集合中存放的是信道强度小于h_m,n的IoT设备编号，其中采用中心式深度强化学习来进行用户关联，具体为：BS根据ε‑贪婪策略做出决策，IoT设备基于来自BS的决策来接入相关联的蜂窝用户，蜂窝用户解码相关联的IoT设备信号并将r_c(t)和s_c(t+1)反馈给BS，BS将经验数据存储到存储器D中，并随机地对D中的经验数据进行小片采样以训练深度Q‑网络；ε‑贪婪策略是指以ε概率采取随机决策，以1‑ε概率采取深度Q‑网络获得的结果；r_c(t)为中心式深度强化学习的的奖励函数：s_c(t)为中心式深度强化学习在第t帧的状态：其中是第(t‑1)帧的能获得的所有反射链路的历史信道信息，每次和环境进行交互后，用户m将与之相关联的IoT设备的信道信息上传给基站，基站更新现有的历史信道信息中心式深度强化学习的动作为：其中b_n∈{1,…,M}表示与IoT设备n关联的蜂窝用户的标号，动作空间大小为M^N。