[发明专利]一种基于深度Q网络的动态多信道协作感知方法

权利要求书

1.一种基于深度Q网络的动态多信道协作感知方法，其特征在于，包括以下步骤：

步骤1)、在整个认知无线电的环境下，感知阶段初期将所有次级用户的状态矩阵发送给协同服务器并发起协同请求；

步骤2)、协同服务器在接收到协同请求后，以次级用户的状态矩阵作为深度Q网络的输入进行训练，利用DDQN网络结构保持深度Q网络内部状态，以维度为K+1的向量作为次级用户下一时隙占用信道的协同矩阵输出至服务器；

步骤3)、服务器根据协同矩阵对次级用户进行信道接入，并根据信道的真实状态得到即时奖励，更新次级用户的状态矩阵，进入下一时隙的感知阶段。

2.根据权利要求1所述的一种基于深度Q网络的动态多信道协作感知方法，其特征在于，步骤1)具体包括以下步骤：将所有次级用户状态矩阵发送给协同服务器，状态矩阵的维度为N*(2K+2)，表达式如下：

其中s_i表示第i个次级用户的状态，每个次级用户的状态由2K+2个元素组成，前K+1个元素表示用户的发送情况，中间K个元素表示K个信道的剩余容量，最后1个元素表示ack信号，其中：

s_i＝[ξ₁，…，ξ_K+1，c₁，…，c_K，ack]

其中ξ_j表示选择第j-1个信道进行发送，c_j表示第j个信道的剩余量，ack表示ack信号。

3.根据权利要求2所述的一种基于深度Q网络的动态多信道协作感知方法，其特征在于，用户的发送情况具体为：如果用户未发送，则第一个元素值为1，其他元素值为0；如果用户选择信道K进行发送，则第K+1个元素值为1，其他元素值为0。

4.根据权利要求2所述的一种基于深度Q网络的动态多信道协作感知方法，其特征在于，2.1协同服务器将次级用户的状态矩阵按行分为N份，将每份状态矩阵的s_i作为输入向量，输入到深度Q网络中；

2.2深度Q网络利用DDQN网络结构保持网络内部状态，将维度为K+1的向量作为输出，如果向量中第一个元素值最大，次级用户则选择不发送数据包；如果向量中第K(k＞1)个元素值最大，次级用户则选择在第K+1个信道发送数据包；

2.3组合N个次级用户选择的信道序号，作为次级用户下一时隙占用信道的协同矩阵，并将其发送给接入服务器。

5.根据权利要求4所述的一种基于深度Q网络的动态多信道协作感知方法，其特征在于，将s_i作为Dueling DQN网络结构的输入，依据Matmul函数和Relu函数计算第j层隐含层输出h_j，表达式如下：

h_j＝Relu(Matmul(s，w_j)+b_j)

其中w_j表示DDQN网络结构中第j层隐含层的权重矩阵；b_j表示第j层隐含层的偏移矩阵；

2.2.2依据隐含层的输出h_j分别计算价值v和优势A：

V＝Matmul(h_j，w_j，1)+b_j，1

A＝Matmul(h_j，w_j，2)+b_j，2

2.2.3对优势A进行优化：

A＝A-Reduce_Mean(A)

2.2.4将价值v和优势A相加就可以得到维度为1*(K+1)的Q值矩阵：

Q(s)＝V+A

当在Q值矩阵中，如第一个元素对应的值最大，则代表当前次级用户选择不发送数据包；如果第K+1个元素对应的值最大，则代表当前次级用户选择在第K个信道发送数据包；相对应选择的信道序号即为a_i；

2.2.5组合N个次级用户选择的信道序号，作为次级用户下一时隙占用信道的协同矩阵，表达如下：

action＝[a₁，a₂，…，a_N]。