[发明专利]一种D2D通信中联合资源分配和功率控制方法

权利要求书

1.一种D2D通信中联合资源分配和功率控制方法，其特征在于：含有以下步骤，

步骤一、离散划分信道资源块和功率等级；

步骤二、对D2D通信场景基于深度强化学习建模；

步骤三、设计深度Q网络中的用于训练的Behavior网络和用于计算的Target网络的网络结构；

步骤四、基于设置好的系统模型，利用深度强化学习的算法使智能体和环境交互进行800-1500次迭代学习输出最优结果；包含以下分步骤，

步骤4.1、DQN算法初始化，

步骤4.1.1、初始化样本回放缓存区的容量为D，得到一个长度为D的空队列，用来存储智能体与环境交互得到的序列，样本回放缓存区用于存储智能体和环境交互获得的状态、动作、奖励和下一状态的样本信息的；

步骤4.1.2、初始化智能体的状态模型和动作模型，得到相应状态矩阵和动作矩阵；

步骤4.1.3、随机设置Behavior网络参数θ和Target网络参数θ-使网络可用；

步骤4.2、环境参数初始化，

步骤4.2.1、初始化用户距离，设置小区半径为R，基站在小区中心位置，D2D用户和蜂窝用户在小区内随机分布，得到所有用户到基站和用户之间的距离；

步骤4.2.2、创建初始状态矩阵，为初始化后得到的状态矩阵和动作矩阵赋值，占用信道为1不占用为0且每个用户只能占用一个信道，即在矩阵的K维度上对应于每个用户只能有一个1值，在状态矩阵的1维度上在L个功率等级上随机选择一个功率等级值；

步骤4.3、迭代学习最优策略，

步骤4.3.1、将当前状态输入Behavior网络，经过三层卷积层提取特征和两层全连接层，得到两个输出向量分别表示所有可选信道资源动作和可选功率等级动作的Q值；

步骤4.3.2、每个智能体根据贪心算法(ε-greedy)来平衡探索和利用，选择信道资源和功率等级，即智能体以概率ε选取Q值最大的动作，以概率1-ε随机选择，更新当前动作矩阵；

步骤4.3.3、执行所选动作，得到新一轮的状态；

步骤4.3.4、计算智能体的信噪比：该智能体占用信道传输数据的功率与链路增益的乘积视为该智能体的信号功率，与该D2D用户选择同一信道资源传输数据的其它D2D用户的功率与链路增益乘积之和，加上蜂窝用户的功率与链路增益乘积，以及加性高斯白噪声和邻近小区的干扰功率视为该智能体的总干扰功率，信号功率除以总干扰功率即为该智能体的信噪比；

步骤4.3.5、计算蜂窝用户的信噪比：该蜂窝用户占用信道传输数据的功率与链路增益的乘积视为该蜂窝用户的信号功率，与该用户选择同一信道资源传输数据的D2D用户的功率与链路增益乘积之和，加上邻近小区的干扰功率，以及加性高斯白噪声视为该蜂窝用户的总干扰功率，信号功率除以总干扰功率即为该蜂窝用户的信噪比；

步骤4.3.6、计算当前选择动作后更新的状态的系统容量：根据用户选择的信道资源带宽以及用户信噪比，利用香农公式分别计算蜂窝用户通信系统容量D2D用户通信系统容量，二者之和即为混合蜂窝通信和D2D通信系统总容量；

步骤4.3.7、检查蜂窝用户信噪比和容量是否满足四个约束条件，求得基于上一状态所选动作的奖励值；

步骤4.3.8、将更新前的状态、所选择的动作、奖励值、更新后的状态作为一组序列存储到样本回放缓存区中；

步骤4.3.9、从样本回放缓存区中采样一批样本，将采样的样本的状态分别送入Behavior网络和Target网络分别计算所选信道资源动作和所选功率等级动作的估计Q值和实际Q值；

步骤4.3.10、根据目标函数(信道资源动作实际Q值-信道资源动作估计Q值)²和(功率等级动作实际Q值-功率等级动作估计Q值)²的平均值进行梯度下降法求解更新Behavior网络参数θ；

步骤4.3.11、将更新后的状态设置为当前状态进行下一次迭代直到学习结束；

步骤4.3.12、每隔固定的迭代次数更新Target网络参数8-直到学习结束；

步骤五、输出学习到的最优策略，即所有用户的信道资源和功率等级的分配情况。