[发明专利]基于Q学习的深度神经网络自适应退避策略实现方法及系统

权利要求书

1.一种基于Q学习的深度神经网络自适应退避策略实现方法，其特征在于，包括：

步骤1：对无人机网络中的网络节点和网络拓扑结构进行初始化，根据节点的位置信息确定树形网络的簇头节点，簇头节点采用MAC协议并在对退避策略参数初始化后，广播至全网节点；

步骤2：全网节点根据簇头节点广播的初始化后的退避策略参数来更新本地的退避策略，并将更新信息发送至簇头节点；

步骤3：簇头节点根据收到的更新信息进行统计，得出网络公平性指标并形成向量，保存进经验池中，若经验池满，则覆盖其中误差低于预设值的向量；簇头节点使用基于Q学习的深度神经网络的学习策略输出新的退避策略参数，并广播至全网节点；

步骤4：簇头节点从经验池中提取向量，输入到深度神经网络进行训练，得到真实Q值，将真实Q值与预测Q值进行对比，使用反向传播算法，更新深度神经网络中的参数，直至迭代终止；

步骤5：返回步骤2继续执行，当学习策略趋于稳定符合预设条件时，输出退避策略。

2.根据权利要求1所述的基于Q学习的深度神经网络自适应退避策略实现方法，其特征在于，所述步骤2包括：

全网节点按照初始化后的退避策略进行通信，各节点分别记录在单位时间内的更新信息，包括传输成功率、平均时延、吞吐量和网络负载；

传输成功率和平均时延通过从接收节点返回的ACK消息确定；

吞吐量和网络负载通过单位时间内到达的业务量和发送的业务量确定。

3.根据权利要求1所述的基于Q学习的深度神经网络自适应退避策略实现方法，其特征在于，在无人机自组织网络中，节点采用CSMA/CA协议，以随机的方式接入信道；节点在监听到信道空闲后，退避一段时间，在这段时间内，节点将持续监听信道，当整段时间内信道均为空闲时，节点接入信道并发送数据包；当节点发送数据包失败时，将根据退避策略调整退避窗口的大小，进行退避重传，重传次数到达上限时，丢弃数据包。

4.根据权利要求3所述的基于Q学习的深度神经网络自适应退避策略实现方法，其特征在于，当站点通信冲突时，退避窗口CW按m倍增长；当站点通信完成时，退避窗口CW按n倍减少，来控制退避窗口变化的速度，公式为：

其中，CW_t表示退避重传t次后退避窗口的大小；常数m,n由学习策略确定。

5.根据权利要求2所述的基于Q学习的深度神经网络自适应退避策略实现方法，其特征在于，根据网络公平性指标计算各节点之间的吞吐量差异，用吞吐量Throughput_now、吞吐量标准差σ_th和变异系数C_v反映各节点吞吐量的波动性，通过变异系数的变化C_fairness确定不同节点间的公平性差异，表达式为：

其中，Throughput_now表示当前单位时间内的吞吐量，σ_th表示吞吐量标准差，表示前一个单位时间内的变异系数，表示当前时间内的变异系数。

6.根据权利要求5所述的基于Q学习的深度神经网络自适应退避策略实现方法，其特征在于，采用深度神经网络模型进行训练，深度神经网络内部的神经网络层分为三类：输入层、隐藏层、输出层；

所述深度神经网络模型满足线性关系：z＝∑ω_ix_i+b

z表示局部神经元中的线性关系输出；ω_i表示局部神经元中第i个输入变量的权重系数；x_i表示局部神经元中的第i个输入变量；

初始化a¹＝x，forl＝2toL；

训练的计算公式为：a^l＝σ(z^l)＝σ(W^la^l-1+b^l)

L为神经网络层的总层数，W为所有隐藏层和输出层对应的矩阵，b为偏移变量，x为输入值向量，a^L为输出层的输出，σ(z)为激活函数；a^L为第L层的输出值。