[发明专利]一种分布式协同进化方法、UAV及其智能路由方法、装置

权利要求书

1.一种分布式协同进化方法，其特征在于，应用于多个UAV节点组成的网络，网络包括由至少一个UAV节点组成的验证委员会；

每个UAV节点被配置有路由DQN模型；

每个UAV节点被配置有路由评价模型；

每个UAV节点被配置为区块；

数据包从网络中的源节点依次转发至目的节点，形成对应于所述数据包的由源节点至目的节点的路由；

在一个进化周期内，执行以下步骤：

S1：更新路由DQN模型参数：

UAV节点基于路由产生的样本训练自身的路由DQN模型，并更新自身的路由DQN模型参数；

S2：选举出块节点：

将路由输入路由评价模型获得所述路由中各节点的分数，以使所述验证委员会根据所述路由中各节点的分数选举生成分数最高节点作为出块节点；

S3：广播路由DQN模型参数：出块节点将其自身的路由DQN模型参数广播至网络；

S4：参数协同进化：非出块节点接收出块节点的路由DQN模型参数并与自身的路由DQN模型参数进行参数融合得到进化的路由DQN模型参数。

2.根据权利要求1所述的一种分布式协同进化方法，其特征在于，所述更新路由DQN模型参数具体包括：

UAV节点在转发数据包时，基于路由DQN模型将数据包转发至最大Q值的下一节点，并生成训练的样本，所述样本用于在空闲时训练更新自身的路由DQN模型，并生成更新迭代后的路由DQN模型参数。

3.根据权利要求1所述的一种分布式协同进化方法，其特征在于，所述选举出块节点具体包括：

目的节点在接收到数据包时，基于路由评价模型获得路由的总评分，并根据所述总评分生成分数验证包，网络中的分数验证包按照对应的路由路径依次回传至源节点，所述分数验证包包括分配至各节点的分数；验证委员会在收到分数验证包时更新各节点对应的分数，并在进化周期的选举阶段中选举生成分数最高节点作为出块节点。

4.根据权利要求1所述的一种分布式协同进化方法，其特征在于，将路由输入路由评价模型获得所述路由中各节点的分数，具体以下步骤：

对于路由R_h，源节点为目的节点为目的节点在收到数据包时根据路由评价模型生成对应的分数验证包，所述路由评价模型具体包括以下步骤；

计算源节点向目的节点发出数据包时源节点到目的节点的距离d_h；

计算数据包从源节点到目的节点的端到端总时延T_h；

根据所述距离d_h、端到端总时延T_h，计算路由R_h的总分数

将总分数分配给路由R_h上的前n个节点，则UAV节点在所述路由R_h上所得的分数

其中，是为UAV节点在路由R_h上所得的分数，τ是调整分数分配比重的系数；

所述目的节点将所述数据包的编号、发送与接收时间、参与路由R_h的节点与对各节点分配的分数，进行签名并打包生成分数验证包。

5.根据权利要求1所述的一种分布式协同进化方法，其特征在于，所述验证委员在收到分数验证包时验证其中所有签名，并将分配至各UAV节点的分数叠加到对应的UAV节点的当前分数上并更新对应的UAV的分数。

6.根据权利要求1所述的一种分布式协同进化方法，其特征在于，所述参数融合的过程如下：

获得UAV节点C_k的当前路由DQN模型参数

获得出块节点C_sel的当前路由DQN模型参数θ_sel；

根据所述θ_sel计算UAV节点C_k下一进化周期的路由DQN模型参数

其中，和分别是UAV节点C_k在当前进化周期和下一进化周期中的路由DQN模型参数。