[发明专利]基于Q-learning的紫外光无人机编队中邻居发现方法

权利要求书

1.基于Q-learning的紫外光无人机编队中邻居发现方法，其特征在于，包括以下步骤：

步骤1，在每个无人机上安装球形结构紫外光多发多收模型，多发多收模型上按照经纬线分布的方式在经纬线交接处安装紫外光收发装置，并进行编号，使其具有固定的编号的规律，节点间通信使用紫外光近直视通信；

步骤2，开始邻居发现第一阶段无人机节点以多发多收模型为基础，以LED紫外灯的编号为顺序从小到大依次向三维空间发送请求信息帧，请求信息帧包括节点ID，标识符，LED紫外灯的编号；

步骤3，当邻居无人机节点收到来自发起节点无人机的请求信息帧后，进入邻居发现第二阶段，此阶段由于紫外光的近直视传播的特点，邻居无人机节点可以根据请求信息帧判断出发起节点无人机多发多收模型的LED紫外灯的编号，但是无法决定自身该使用多发多收模型的哪个编号的LED紫外灯向发起节点无人机发送应答信息帧；

邻居节点无人机开始搜索自身的Q-learning算法中的Q表格中的策略，若Q表格中存在相应的策略，则根据策略选择相对应的LED紫外发射装置发送应答信息帧，若无搜索策略，转到步骤4；

步骤4，若搜索策略为空，则邻居无人机节点将按照请求信息帧的发送方式，以自身多发多收模型为基础向三维空间依次发送应答信息帧，应答信息帧中包括有请求信息帧的节点ID号，请求信息帧发送的LED紫外灯的编号，以及接收节点的节点ID号，接收节点发送应答信息的LED紫外灯的编号；

步骤5，发起节点无人机收到应答信息帧后，进入邻居发现第三阶段，此时发起节点无人机根据收到的应答信息帧可以判断出本节点与邻居节点进行通信的最佳紫外LED发射编号，则发起节点无人机将根据应答信息帧中自身LED紫外灯的编号定向向邻居节点无人机发送确认信息帧，邻居发现过程结束。

2.根据权利要求1所述的基于Q-learning的紫外光无人机编队中邻居发现方法，其特征在于，所述步骤3中，Q-learning算法如下：

所述步骤3中，Q-learning算法中Q-table表格策略计算如下：

首先，初始化Q-table表格为0，表示此时的搜索策略为无，即Q-table表格即为搜索策略；

然后，判断邻居节点发送的应答信息帧是否可以到达发起节点，若可以到达，则更新Q-table表格中数据，更新变化为由0变1，若无法被发起节点接收到，则Q-table表格中数据不发生变化；

最后，通过一次一次的迭代优化更新Q-table表格，即不断的更新搜索策略，即可得到自身所有LED紫外灯的编号对应的搜索策略。

3.根据权利要求1所述的基于Q-learning的紫外光无人机编队中邻居发现方法，其特征在于，所述的固定的编号的规律具体采用多发多收模型上按照经纬线分布的方式在经纬线交接处安装紫外光收发装置，以任一条经线为初始线对该经线上的节点进行编号，编号从1开始，经线上的编号顺序为从顶至下，当第一条经线编号完成后，以顺时针方向旋转选择第二条经线上的节点进行顺序编号，直至全部经线上的节点均编号完成。