[发明专利]一种6G空天地一体化网络下基于DQN网络的无人机邻节点发现方法

说明书

本发明公开了一种6G空天地一体化网络下基于DQN网络的无人机邻节点发现方法，包括以下步骤：步骤一，构建无人机网络的初始系统模型；步骤二，采用二维马尔科夫链对CSMA/CA协议的二元指数退避算法计算每个参考节点竞争信道成功并成功发送信息的概率psubgt;s/subgt;；步骤三，设置DQN网络的状态、动作和奖励函数；步骤四，基于状态、动作和奖励函数对DQN网络进行训练，得到训练后的DQN网络；步骤五，将网络节点对应的当前状态输入训练后的DQN网络，输出奖励值最大对应的动作。本发明将无人机网络的多业务需求作为邻节点发现的考虑因素，通过多业务竞争模型并基于DQN网络提出无人机邻节点发现方法，降低了无人机网络系统开销的同时提高了邻节点发现精度。

技术领域

本发明属于无人机通信技术领域，具体涉及一种6G空天地一体化网络下基于DQN网络的无人机邻节点发现方法。

背景技术

随着移动通信技术的不断发展，人类迈入了移动互联互通时代。5G的蓬勃发展使人类生活更为便捷与多姿多彩，但同时也使数据传输呈指数级增长，目前广泛开展的5G相关技术已无法满足新兴业务对现用通信性能的需求。因此，加快未来通信网络技术的研究正日益引起工业界和学术界重视。6G网络目前把空天地一体化多接入能力作为一个重要的关键能力，就是以移动通信网络为基础，拓展用户接入方式。

无人机在环境监测、灾害管理等领域有着广泛的应用。多架无人机组成的自组网更能有效、经济的完成任务。而随着无人机技术的迅猛发展，无人机通信网络将成为6G空天地一体化网络融合的关键组成部分，在战场侦察、野外救援和物联网信息传输等民用和军用领域发挥重要作用。

邻节点发现是发现相邻节点和构建无人机网络拓扑的关键步骤，利用所构造的拓扑，可以设计无人机网络和路由方案。传统的邻节点发现方法是将广播分组时间间隔设置为常数，即每间隔固定的时间间隔向周围节点发送本节点的状态信息。但是由于无人机的三维部署和高移动性，相对位置在不断变化，固定的广播分组时间间隔不能适应无人机自组网高移动性的特征。另外，广播时间间隔过短，会增大系统开销；而广播时间间隔过长，则会遗漏邻节点，使得发现精度大大降低。

现有的技术中有基于Q-learning的无人机邻节点发现方法，通过不断检测发现邻节点数量来调整节点自身状态，改变信标消息发送间隔，从而尽可能的发现所有邻居节点。但是这种方法不适合无人机网络的高动态性，其状态空间会较大，而且Q-learning算法在训练中需要离散化问题，导致学习最优策略速度很慢。并且现有的无人机邻节点发现方法均未考虑到当两个或两个以上的节点同时广播发现消息时，信道发生冲突的情况，减小了邻节点发现的精度。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种6G空天地一体化网络下基于DQN网络的无人机邻节点发现方法。本发明要解决的技术问题通过以下技术方案实现：

一种6G空天地一体化网络下基于DQN网络的无人机邻节点发现方法，包括以下步骤：

步骤一，构建无人机网络的初始系统模型；其中，初始系统模型中包括多个网络节点、随机从所述网络节点中选取的多个参考节点以及通信信道；

步骤二，采用二维马尔科夫链对CSMA/CA协议的二元指数退避算法计算每个所述参考节点竞争信道成功并成功发送信息的概率p_s；

步骤三，根据竞争信道成功并成功发送信息的概率p_s设置DQN网络的状态、根据发送信标消息的常数广播间隔设置DQN网络的动作并根据无人机邻节点发现奖励和信标消息发送次数奖励构建DQN网络的奖励函数；

步骤四，基于所述状态、所述动作和所述奖励函数对DQN网络进行训练，得到训练后的DQN网络；

步骤五，将所述网络节点对应的当前状态输入训练后的DQN网络，输出奖励值最大对应的动作。