[发明专利]一种基于深度强化学习的全双工认知通信功率控制方法

权利要求书

1.一种基于深度强化学习的全双工认知通信功率控制方法，其特征在于，包括如下步骤：

步骤1，建立全双工认知通信系统；所述全双工认知通信系统包括一对下行链路模式下工作在半双工模式下的主用户发射机TX₁和主用户接收机RX₁，一个工作在全双工模式下的次用户发射机TX₂，以及一个工作在半双工模式下的次用户接收机RX₂；

步骤2，初始化所述全双工认知通信系统的系统参数；

步骤3，基于主用户发射机TX₁和次用户发射机TX₂的某发射功率，计算主用户接收机RX₁和次用户接收机RX₂相应的信干噪比；

步骤4，初始化主用户发射机TX₁，次用户发射机TX₂的发射功率以及动作集合，构建次用户发射机TX₂功率控制的马尔可夫决策模型；

步骤5，基于所述次用户发射机TX₂功率控制的马尔可夫决策模型，运用深度强化学习中的DQN算法训练优化目标函数，得到最优的次用户发射机TX₂的功率控制策略；

步骤6，采用所述最优的次用户发射机TX₂的功率控制策略进行次用户发射机TX₂的功率控制；

步骤1中所述全双工认知通信系统中的主用户发射机TX₁、主用户接收机RX₁、次用户发射机TX₂和次用户接收机RX₂设置如下：

(1)次用户发射机TX₂具有自干扰消除能力，并能够在同一时间和频率上进行信号的发送和接收；

(2)主用户发射机TX₁、主用户接收机RX₁和次用户接收机RX₂不具备自干扰消除能力，在同一时间和频率上进行信号的发送或者接收；

(3)主用户发射机TX₁与次用户发射机TX₂采用不同的功率控制方法，即主用户发射机TX₁采用预先定义的功率控制算法，次用户发射机TX₂采用所述基于深度强化学习的全双工认知通信功率控制方法；

(4)主用户发射机TX₁与次用户发射机TX₂彼此不知道对方的功率控制方法；

(5)主用户发射机TX₁、主用户接收机RX₁、次用户发射机TX₂和次用户接收机RX₂均工作在相同频段上；

步骤2中所述初始化所述全双工认知通信系统的系统参数包括初始化所述全双工认知通信系统中的所有信道增益，次用户发射机的自干扰消除系数，噪声功率，发射功率集合，以及接收机的服务质量要求；其中：

主用户发射机TX₁与主用户接收机RX₁的信道增益为h₁₁，主用户发射机TX₁与次用户接收机RX₂的信道增益为h₁₂、次用户发射机TX₂与次用户接收机RX₂的信道增益为h₂₂、次用户发射机TX₂与主用户接收机RX₁的信道增益为h₂₁；主用户发射机TX₁与次用户发射机TX₂的信道增益为h_ps；

次用户发射机TX₂的自干扰消除系数χ，χ∈[0，1]；

噪声功率为P_n；

发射功率共有k档，发射功率集合为P_T,P_T＝{p₁，p₂，......，p_k}，其中p₁＜p₂＜......＜p_k；

主用户接收机RX₁满足服务质量要求的最小信干噪比为τ₁∈[0，1]，次用户接收机RX₂满足服务质量要求的最小信干噪比为τ₂∈[0.5，1.5]，且τ₁＜τ₂；

步骤3中所述基于发射机发射的某功率信号计算接收机相应的信干噪比的方法包括：

主用户接收机RX₁的信干噪比SINR₁为：

次用户接收机RX₂的信干噪比SINR₂为：

其中，P₁为主用户发射机TX₁的发射功率，P₂为次用户发射机TX₂的发射功率；

步骤4中所述构建次用户发射机TX₂功率控制的马尔可夫决策模型的方法包括：

(1)初始化主用户发射机TX₁的发射功率P₁∈P_T，次用户发射机TX₂的发射功率P₂∈P_T，动作选择空间A＝P_T；

(2)得到主用户发射机TX₁的观测功率信号并通过功率信号抽样将观测功率信号离散化，得到系统状态离散化表示：K表示系统状态数量；

(3)定义系统奖励函数，确定次用户发射机TX₂在执行每个动作a∈A即选取动作集合A中的某个发射功率时得到的奖励值r，若SINR₁＞τ₁且SINR₂＞τ₂，记录奖励值r＝R_c，否则记奖励值r＝0；

步骤5中所述目标函数定义为：

其中，R_t表示t时刻累积奖励函数，即要优化的所述目标函数；r_l(s_l，a_l)表示l时刻基于状态-动作对(s_l，a_l)的奖励值，s_l表示第l个状态，a_l表示与s_l对应的动作；λ表示奖励值衰减因子，取值范围为(0，1]；

步骤5中所述运用深度强化学习中的DQN算法训练优化目标函数的方法包括：

步骤5-1，构建两个结构相同的卷积神经网络，其中一个记作CNN₁；另一个为目标网络，记作CNN₂；

步骤5-2，初始化网络CNN₁的参数θ，目标网络CNN₂的参数θ^-，数据容器ME的缓存容量N_E以及目标网络CNN₂更新步数T；

步骤5-3，生成经验数据e_i＝(s_i，r_i，a_i，s_i+1)并存储在数据容器ME中；i表示生成经验数据的时刻；

步骤5-4，当存储在数据容器ME中的经验数据超过缓存容量N_E时，随机抽取B条经验数据传到网络CNN₁中，B＜N_E，通过最小化损失函数进行训练；

步骤5-5，每经过T步对目标网络CNN₂进行更新，即令θ^-＝θ；

步骤5-6，判断训练迭代次数是否达到最大值，如果是，则训练结束，得到最优的次用户发射机TX₂的功率控制策略；否则，返回步骤5-3继续训练；

步骤5-4中所述损失函数定义为：

θ：minL(θ)＝E[Q_target(s，a；θ^-)-Q(s，a；θ)] (4)

其中，L(θ)表示损失函数的值，Q_target(s，a；θ^-)表示目标网络CNN₂的Q值，Q(s，a；θ)表示网络CNN₁的Q值，E[]表示期望运算。