[发明专利]一种6G空天地一体化网络下基于DQN网络的无人机邻节点发现方法

权利要求书

1.一种6G空天地一体化网络下基于DQN网络的无人机邻节点发现方法，其特征在于，包括以下步骤：

步骤一，构建无人机网络的初始系统模型；其中，初始系统模型中包括多个网络节点、随机从所述网络节点中选取的多个参考节点以及通信信道；

步骤二，采用二维马尔科夫链对CSMA/CA协议的二元指数退避算法计算每个所述参考节点竞争信道成功并成功发送信息的概率p_s；

步骤三，根据竞争信道成功并成功发送信息的概率p_s设置DQN网络的状态、根据发送信标消息的常数广播间隔设置DQN网络的动作并根据无人机邻节点发现奖励和信标消息发送次数奖励构建DQN网络的奖励函数；

步骤四，基于所述状态、所述动作和所述奖励函数对DQN网络进行训练，得到训练后的DQN网络；

步骤五，将所述网络节点对应的当前状态输入训练后的DQN网络，输出奖励值最大对应的动作。

2.根据权利要求1所述的一种6G空天地一体化网络下基于DQN网络的无人机邻节点发现方法，其特征在于，所述竞争信道成功并成功发送信息的概率p_s根据下式计算：

其中，

p_c＝1-(1-p_tr)ⁿ，

p_tr表示参考节点竞争信道成功的概率；p_c表示信道中发生冲突的概率；p_b表示信道在一个时隙内繁忙的概率；p_a表示一个参考节点至少有一个数据包等待发送的概率；p_tr0表示p_a＝1时，参考节点竞争信道成功的概率；m表示二元指数退避算法允许的最大后退次数；n表示参考节点在某一时刻的真实邻节点数；r表示n个参考节点中至少有一个数据包等待发送的节点的数量；W_i表示后退次数为i时的竞争窗口大小；表示二元指数退避算法的所有状态的平均竞争窗口大小；λ_a表示除hello包外的其他数据包的到达强度。

3.根据权利要求1所述的一种6G空天地一体化网络下基于DQN网络的无人机邻节点发现方法，其特征在于，所述状态的表达式为：

state＝X,Y,Z,R,V,p_s；

其中，X、Y、Z分别表示无人机在三维空间中的地理位置，R表示无人机的通信范围，V表示当前时刻无人机的飞行速度；

所述动作的表达式为：

action_s＝{…τ-0.1,τ,τ+0.1…}；

其中，τ表示发送信标消息的常数广播间隔；

所述奖励函数的表达式为：

其中，r_discovery表示邻节点发现奖励，r_discovery＝(N_R-N_D)^g，r_overhead表示信标消息发送次数奖励，r_overhead＝τ'，N_R表示真实邻节点数目，N_D表示发现邻节点数目，τ'表示当前发送信标消息的广播间隔，g是权重因子，α和β均表示常数系数。

4.根据权利要求3所述的一种6G空天地一体化网络下基于DQN网络的无人机邻节点发现方法，其特征在于，所述步骤四包括：

步骤41，初始化DQN网络的关键参数；

步骤42，基于当前状态采用贪心算法选择奖励值最大的动作；

步骤43，执行所述奖励值最大的动作并根据奖励函数计算当前奖励值；

步骤44，获得新的状态；

步骤45，将状态转换结果存储在记忆池中；

步骤46，当记忆池中的状态转换结果数量大于记忆池规模时对DQN网络进行训练，得到训练后的DQN网络。

5.根据权利要求4所述的一种6G空天地一体化网络下基于DQN网络的无人机邻节点发现方法，其特征在于，所述关键参数包括：记忆池规模D、训练池规模d、DQN网络权重、贪心算法概率ε和状态空间DP。