[发明专利]基于Q-learning的紫外光无人机编队中邻居发现方法

说明书

基于Q‑learning的紫外光无人机编队中邻居发现方法，步骤为：步骤1，在每个无人机MIMO模型上经纬线交接处安装紫外光收发装置，并编号；步骤2，开始邻居发现第一阶段无人机节点以MIMO模型为基础，以LED紫外灯编号为顺序发送请求信息帧；步骤3，邻居无人机节点收到请求信息帧后，进入邻居发现第二阶段，根据搜索策略选择相对应的LED紫外发射装置发送应答信息帧，若无搜索策略，转到步骤4；步骤4，若搜索策略为空，邻居无人机将按照请求信息帧的发送方式，向三维空间发送应答信息帧；步骤5，发起节点无人机收到应答信息帧后，进入邻居发现第三阶段，发起节点向邻居无人机节点发送确认信息帧；具有减少邻居发现信息帧发送次数，节省无人机能量消耗的特点。

技术领域

本发明属于无人机通信技术领域，具体涉及基于Q-learning的紫外光无人机编队中邻居发现方法。

背景技术

近年来，随着无人机技术日渐成熟，无人机广泛应用于军事领域，农业植保、电力巡检等领域。由于单个无人机计算、探测和作业能力有限，使用多无人机协作的形式能充分发挥集群无人机的优势，提高无人机执行任务的能力。集群无人机内邻居发现作为蜂群组网和通信的必要条件，近年来研究也日益深入。邻居发现是构建网络拓扑的重要操作。如何使网络内的节点快速地发现邻居，进而形成网络是邻居发现的主要内容。

发明内容

为克服上述现有技术的不足，本发明的目的在于提供基于Q-learning的紫外光无人机编队中邻居发现方法，首先给出了一种用于邻居发现多发多收通信模型，然后根据此模型的节点特性和近直视通信原理设计了一种邻居发现方法，具有减少邻居发现信息帧发送次数，节省无人机能量消耗的特点。

为实现上述目的，本发明采用的技术方案是：

基于Q-learning的紫外光无人机编队中邻居发现方法，其特征在于，包括以下步骤：

步骤1，在每个无人机上安装球形结构紫外光多发多收模型，多发多收模型上按照经纬线分布的方式在经纬线交接处安装紫外光收发装置，并进行编号，使其具有固定的编号的规律，节点间通信使用紫外光近直视通信；

步骤2，开始邻居发现第一阶段无人机节点以多发多收模型为基础，以LED紫外灯的编号为顺序从小到大依次向三维空间发送请求信息帧，请求信息帧包括节点ID，标识符，LED紫外灯的编号；

步骤3，当邻居无人机节点收到来自发起节点无人机的请求信息帧后，进入邻居发现第二阶段，此阶段由于紫外光的近直视传播的特点，邻居无人机节点可以根据请求信息帧判断出发起节点无人机多发多收模型的LED紫外灯的编号，但是无法决定自身该使用多发多收模型的哪个LED紫外灯装置向发起节点无人机发送应答信息帧；

邻居节点无人机开始搜索自身的Q-learning算法中的Q表格中的策略，若Q表格中存在相应的策略，则根据策略选择相对应的LED紫外发射装置发送应答信息帧，若无搜索策略，转到步骤4；

步骤4，若搜索策略为空，则邻居无人机节点将按照请求信息帧的发送方式，以自身多发多收模型为基础向三维空间依次发送应答信息帧，应答信息帧中包括有请求信息帧的节点ID号，请求信息帧发送的紫外LED的编号，以及接收节点的节点ID号，接收节点发送应答信息的LED紫外灯的编号；

步骤5，发起节点无人机收到应答信息帧后，进入邻居发现第三阶段，此时发起节点无人机根据收到的应答信息帧可以判断出本节点与邻居节点进行通信的最佳紫外LED发射编号，则发起节点无人机将根据应答信息帧中自身LED紫外灯的编号定向向邻居节点无人机发送确认信息帧，邻居发现过程结束。

所述步骤3中，Q-learning算法如下：

所述步骤3中，Q-learning算法中Q-table表格策略计算如下：

首先，初始化Q-table表格为0，表示此时的搜索策略为无，即Q-table表格即为搜索策略；