[发明专利]蜂窝网络中D2D中继通信的功率控制与中继选择方法

权利要求书

1.蜂窝网络中D2D中继通信的功率控制与中继选择方法，其特征在于，按照如下步骤进行：

步骤S1，建立系统模型，系统内N个D2D用户对与K个蜂窝用户共存，D2D用户对用集合I＝{1,2,...,N}表示，D2D发射端、D2D接收端以及蜂窝用户分别用集合S＝{1,2,...,N}，D＝{1,2,...,N}和C＝{1,2,...,K}表示；假设系统中存在M个理想用户作为中继，用集合表示为R＝{1,2,...,M}；

若一个D2D用户对m＝(s,d)通过某一中继r进行通信，其中m∈I,s∈S,d∈D，r∈R，D2D通信第一跳链路中继以及基站的信干噪比为和第二跳链路中D2D接收端及基站的信干噪比为和D2D发射端到D2D接收端的能效为EE(P_s,P_r,P_c,)，P_s、P_r、P_c分别表示D2D发射端、中继、蜂窝用户的传输功率；

步骤S2，在保证蜂窝网络中D2D用户和蜂窝用户的最小传输速率条件下，首先将D2D中继通信的功率控制与中继选择问题转化为混合整数非线性规划问题，并将其拆分为D2D发射端、中继以及蜂窝用户的功率控制与D2D中继选择两个子问题逐步进行求解；

步骤S2.1：定义矩阵X为中继选择矩阵，第m行、第r列的元素表示为中继因子x_mr，当某一D2D用户对m通过某一中继r进行通信时x_mr＝1，否则x_mr＝0；以及分别表示D2D发射端、中继以及蜂窝用户的功率分配矩阵，其中分别表示D2D发射端1,2,...,N的传输功率，分别表示中继1,2,...,M的传输功率，分别表示蜂窝用户1,2,...,K的传输功率；

步骤S2.2：引入中继复用因子x_mr之后，将D2D中继通信的功率控制与中继选择问题转化为如下混合整数非线性规划问题：

U^(r1)(P_s,P_c)≥U_min； (8e)

U^(r2)(P_r,P_c)≥U_min； (8f)

其中，P_max为传输功率的阈值，U_min和R_min为D2D链路和蜂窝链路最小传输速率,W表示信道的带宽，U、T表示函数符号；

步骤S3，分别求出D2D发射端、中继和蜂窝用户的最优传输功率；

步骤S4，最后提出一种基于强化学习中的Q学习算法的中继选择策略，最大化系统中D2D用户对的能效：

步骤S4的具体过程如下：

步骤S4.1：首先定义Q学习中的几个要素：

智能体：智能体为D2D用户对；

动作：动作集合表示为：

A＝(a₁,a₂,...,a_M)； (22)

其中，a₁,a₂,...,a_M分别表示中继1,2,...,M的动作；

设定以D2D发射端到D2D接收端的距离为半径，分别以D2D发射端和D2D接收端为圆心做出两个相交的圆，而辅助通信的中继只能从相交区域中选出；

状态：智能体在t时刻所处的状态用S_t表示，智能体的状态取决于D2D用户在第一跳链路和第二跳链路的能效，具体地：

其中，EE^th代表D2D链路的最低能效要求，EE^(r1)、EE^(r2)分别表示第一跳链路和第二跳链路的能效，s₁，s₂，s₃，s₄表示智能体可能处于的四个状态；

回报函数：回报函数Reward表示执行动作后的报酬，当回报函数为正值时表示所选动作有益，当回报函数为负值时表示所选的动作对于最终结果有负面影响，具体表达式为：

其中，C是折扣因子，EE表示D2D发射端到D2D接收端的能效；

步骤S4.2：初始化状态，然后从多个备选中继中随机选择一个中继进行通信，计算出D2D用户通信第一跳链路的能效EE^(r1)(P_s,P_c)和D2D用户通信第二跳链路的能效EE^(r2)(P_r,P_c)；

步骤S4.3：根据Q学习算法，依次遍历所有的备选中继，利用Q学习更新D2D用户对的Q表，在经过多次迭代后Q表收敛，根据Q表选择最佳中继。