[发明专利]一种分布式协同进化方法、UAV及其智能路由方法、装置

说明书

本发明公开了一种分布式协同进化方法、UAV及其智能路由方法、装置，每个UAV节点被配置有路由DQN模型，每个UAV节点被配置有路由评价模型；每个UAV节点被配置区块；数据包从网络中的源节点依次转发至目的节点，形成对应于所述数据包的由源节点至目的节点的路由；在一个进化周期内，执行以下步骤：S1：更新路由DQN模型参数：S2：选举出块节点：S3：广播路由DQN模型参数；S4：参数协同进化。本发明的基于区块链与深度强化学习的分布式协同进化路由技术相比于传统GPSR具有更低的端到端延迟和更高的包传递率，相比于普通智能路由算法，其拥有更快的收敛速度。

技术领域

本发明涉及无人机自组网领域，具体涉及一种分布式协同进化方法、UAV及其智能路由方法、装置。

背景技术

近年来，无人机(Unmanned Aerial Vehicle,UAV)网络被广泛应用于多种领域，以完成很多常规方式难以实施、环境复杂、灵活性与变动性强的任务。在这种环境下，UAV之间需要通过高效、灵活的协作才能保证任务的有效完成。因此，UAV网络在复杂通信环境中低时延、高可靠的信息传输能力，是应用任务完成的基本前提。然而，由于UAV的迅速移动特性，UAV网络的通信环境与拓扑结构随时都处于动态变化中。如何在这种动态环境下采用高效和自适应的路由技术，保障UAV网络低时延、高可靠的信息传输能力与任务的有效完成，成为UAV网络的一个挑战。

贪婪周边无状态路由协议(Greedy Perimeter Stateless Routing,GPSR)在路由时只考虑下一跳节点和目的节点之间的距离。但在UAV网络中，由于复杂且动态的网络环境和拓扑结构，仅基于地理位置的路由可能并不是最佳路由。此外，UAV频繁移动造成的路由空洞会增加端到端延迟并浪费路由资源。

为了协同不同节点的模型，使得整个网络较快达到好的路由效果，通常会采用联邦学习(Federated Learning)等集中式的参数聚合与优化算法。可是，这种方式无法避免集中式的根本性缺点，如数据的收集和分发增加了路由开销和时延，无法适应快速变化的动态环境。并且集中式聚合的参数没有照顾到不同UAV所处网络环境的多样性，学习模型无法根据独特的本地环境做出最佳路由决策。

因此，针对以上问题，面向UAV网络，设计一种智能的、分布式协同进化的路由技术，加快深度强化学习的收敛速度，实现UAV网络中的路由协同进化，对于提高UAV网络路由的性能与动态环境适应能力，具有重要意义。

发明内容

本发明的目的在于提出了一种基于区块链与深度强化学习的UAV网络分布式协同进化路由技术。该技术首先基于深度强化学习DQN(Deep Q-network)算法，使各UAV做出随环境进化的路由决策，实现自主进化；在此基础上，通过区块链技术，将每轮最佳路由决策模型与各节点的本地模型相融合，加快深度强化学习的收敛速度，实现UAV网络中的路由协同进化，提高整体路由表现。

一种分布式协同进化方法，应用于多个UAV节点组成的网络，网络包括由至少一个UAV节点组成的验证委员会；

每个UAV节点被配置有路由DQN模型；

每个UAV节点被配置有路由评价模型；

每个UAV节点被配置为区块；

数据包从网络中的源节点依次转发至目的节点，形成对应于所述数据包的由源节点至目的节点的路由；

在一个进化周期内，执行以下步骤：

S1：更新路由DQN模型参数：

UAV节点基于路由产生的样本训练自身的路由DQN模型，并更新自身的路由DQN模型参数；

S2：选举出块节点：

将路由输入路由评价模型获得所述路由中各节点的分数，以使所述验证委员会根据所述路由中各节点的分数选举生成分数最高节点作为出块节点；