[发明专利]一种基于无人机辅助的无线传感网络能量效率优化方法

权利要求书

1.一种基于无人机辅助的无线传感网络能量效率优化方法，其特征在于，包括以下步骤：

(1)、在仿真环境中，对用于无人机悬停节点决策的智能体进行训练

根据实际部署，在仿真环境中建立一个A个电池供电的传感器节点n₁,…,n_A以及1个无人机作为汇聚节点的无线传感网络；

对于传感器节点n_i,i＝1,…,A，确定在其通信范围内所有其它传感器节点为其邻居节点，构建邻居节点列表其中，表示传感器节点n_i的第c个邻居节点，c＝1,…,|nbr_i|，|nbr_i|表示邻居节点的数量；

在无人机上部署一个用于决策悬停节点的智能体，其中，悬停节点为无人机将悬停在其上方收集整个无线传感器网络数据的传感器节点；

使用基于演员-评论家(Actor-Critic)的深度强化学习算法对智能体进行训练：

1.1)、选择任意一个传感器节点为悬停节点，根据传感器节点部署位置和传感器节点之间的邻居关系，将传感器节点之间的距离作为权重，使用kruskal算法，计算得到无线传感器网络的最小生成树，并在该生成树中将悬停节点作为根节点，使用广度优先搜索算法(Breadth-First-Search，简称BFS)计算每个传感器节点的路由信息；

1.2)、对于传感器节点需要收集的不同数据，根据已有的先验知识设计相应的概率分布，用于模拟真实环境中传感器节点收集到的数据量，并每间隔α秒按照路由信息向悬停节点发送收集到的数据，悬停节点在无人机悬停时传输数据到无人机；同时，模拟出传感器节点的能量消耗；

1.3)、传感器节点每进行β轮传输，无人机进行下一个悬停节点的决策并生成新的路由方案，决策过程如下：

1.3.1)、无人机决策下一个悬停节点

1.3.1.1)、每个传感器节点n_i在β轮传输完成时，通过现有路由获取将剩余能量信息发送给无人机，无人机再将剩余能量信息进行归一化得到剩余能量值W_i，进而得到所有传感器节点的剩余能量向量

1.3.1.2)、无人机根据各个传感器节点的位置，得到传感器节点的位置向量其中和分别对应于传感器节点n_i在固定坐标系下归一化的横坐标和纵坐标；

1.3.1.3)、无人机将状态向量输入到智能体的决策网络当中，计算输出概率向量其中p_i表示在悬停节点决策中，无人机选择传感器节点n_i作为下一个悬停节点的概率；

1.3.1.4)、无人机在(0,1]范围内随机生成一个浮点数，浮点数将位于概率向量的概率累加分布函数的第j个区间，对应的第j个概率值，表示无人机选择传感器节点n_j作为下一个悬停节点；

1.3.2)、无人机生成新的路由方案

1.3.2.1)、无人机使用能量均衡路由协议(Energy-Balanced Routing Protocol，简称EBRP)算法，对每个节点n_i，依据其邻居节点列表计算得到混合势能场列表其中，表示节点n_i与其邻居节点的混合势能场，的值大小表示选择邻居节点作为父节点的偏好，值越大，越偏向于选择；

1.3.2.2)、无人机根据传感器节点的位置对每个传感器节点n_i计算到下一个悬停节点n_j的距离，根据距离进行降序排列，得到节点列表其中，表示节点列表的第i个传感器节点；

1.3.2.3)、无人机维护一个边集E，初始为空，表示为无线传感网络生成的生成树中的边，且生成树的根节点为

1.3.2.4)、无人机从头遍历节点列表即从传感器节点依次遍历到传感器节点选择每个传感器节点的父节点，从距离悬停节点远到近地进行节点的父节点选择，引导传感器节点传输数据到悬停节点，令i＝1；

1.3.2.4.1)、对于传感器节点如果i等于N，则执行步骤1.3.3)，如果i不等于N，执行步骤1.3.2.4.2)；

1.3.2.4.2)、此时，传感器节点对应传感器节点n_k，对混合势能场列表U_k进行降序排列，得到列表其中表示传感器节点n_k与降序排序后的第c个邻居节点的混合势能场；

1.3.2.4.3)、无人机从头遍历列表即从依次遍历到优先考虑偏好大的邻居节点作为父节点，令c＝1；

1.3.2.4.3.1)、对于传感器节点检查对应的边加入边集E之后是否会成环，如果成环，则执行步骤1.3.2.4.3.2)，如果不成环，将边加入边集E，执行步骤1.3.2.4.4)；

1.3.2.4.3.2)、如果c等于|nbr_i|，则采用最小有向生成树(Minimum DirectedSpanning Tree，简称MDST)算法则计算最小树形图，令边集E等于最小树形图中所有边的集合，执行步骤1.3.3)，如果c不等于|nbr_i|，则令c＝c+1，返回步骤1.3.2.4.3.1)；

1.3.2.4.4)、令i＝i+1，返回步骤1.3.2.4.1)；

1.3.2.5)、无人机根据边集E得到生成树，在生成树中将传感器节点n_j作为根节点，使用BFS算法计算每个传感器节点的新路由方案，传感器节点n_j则等待无人机悬停之后将数据传输到无人机；

1.3.3)、无人机将每个传感器节点对应的新路由方案打包，并按照旧路由方案发送给每个传感器节点，各个传感器收到之后按照新路由方案进行数据传输，无人机飞往下一个悬停节点悬停收集数据；

1.4)、不断执行步骤1.3)，直到至少一个传感器节点能量耗尽，此时无线传感器网络瘫痪，然后对智能体进行训练：智能体的决策网络为演员网络，其悬停节点决策时刻的状态向量作为演员网络、评论家网络的输入，采用基于演员-评论家(Actor-Critic)的深度强化学习算法进行训练，训练过程中使用的奖励函数根据无线传感器网络的存活时间和整体传感器节点能量消耗进行计算，具体计算公式为：

其中，R_t表示第t次悬停节点决策的奖励函数值；R_E表示根据第t次悬停节点决策和第t-1次悬停节点决策之间的整体传感器节点能量消耗多少进行设置，整体能量消耗得越少，R_E值越大；R_T表示在网络瘫痪时的奖励，根据网络存活时间进行设置，网络存活时间越长，R_T值越大；

1.5)、重复步骤1.1)到步骤1.4)，不断对演员和评论家网络进行网络权重的更新，直至收敛；

(2)、将无人机和无线传感器网络部署到实际环境中

2.1)、按照步骤1.1)的方法选择任意一个节点n_i为悬停节点，并计算每个传感器节点的路由信息；

2.2)、将传感器节点的部署位置、邻居信息和路由信息写入各传感器节点和无人机的配置文件中，在无人机上部署一个用于决策悬停节点的智能体，其决策网络为步骤(1)在仿真环境训练好的智能体的决策网络；

2.3)、按照部署位置在实际环境中部署各传感器节点，无人机悬停在传感器节点n_i上方；

(3)、所有传感器节点将持续对环境进行检测，收集数据，并且每间隔α秒按照路由信息向悬停节点发送收集到的数据，悬停节点在无人机悬停时传输所有数据到无人机；

(4)、传感器节点每进行β轮传输，无人机按照步骤1.3.1)的方法决策下一个悬停节点，并按照步骤1.3.2)的方法生成新的路由方案，然后按照步骤1.3.3)发送给每个传感器节点并飞往下一个悬停节点悬停收集数据。