[发明专利]基于能量收割技术的在线无人机辅助数据收集方法及装置

权利要求书

1.一种基于能量收割技术的在线无人机辅助数据收集方法，其特征在于，包括：

初始化：无人机的无线传感器网络中，有1架无人机和M个随机分布的地面传感器节点，无人机作为移动中继收集每个传感器节点采集到的采样数据并转发到数据中心，在一定时间内按照一定路径飞行，在每一个飞行时刻，无人机节点向当前时刻调度出的地面传感器节点发射无线信号，确认无人机是否需要进行数据收集和能量补充；以传感器节点所处平面为X轴和Y轴，以所述平面垂直方向为Z轴进行三维立体图初始化设计；每个所述传感器节点的位置记为L_m＝[x_m,y_m](m＝1,2,3,……,M)，作为接收无人机传输数据的数据中心位置记为L₀；设定无人机在空中的水平飞行高度是h米；无线传感网络中以时隙划分时间，设T_ts表示一个时隙长度；初始化全局网络的策略网络参数θ_a和评价网络参数θ_c，子网络的策略网络参数θ’_a＝θ_a和评价网络参数设置为θ’_c＝θ_c；无人机的飞行模式包括工作模式和等待模式，所述工作模式为无人机进行正常飞行和转发其服务范围内的传感器节点数据；所述等待模式为当所述无人机在所述工作模式下剩余能量低于第一阈值E_th，无人机降落在地面上以避免能量不足引起意外坠毁，对应能耗为降落能耗e_des；设定所述工作模式和等待模式切换的第一阈值为E_th，初始化时隙数为n＝1，每经过一个时隙n自增1；初始化无人机飞行的最长时隙数为N；

步骤S1：初始化所述全局网络的策略网络参数θ_a和评价网络参数θ_c的梯度dθ_a＝0，dθ_c＝0；初始化更新全局网络的时间间隔n_up个时隙；无人机携带能量用E(n)表示，能耗用e(n)表示，n为时隙数；无人机初始位置所携带电量为满电量E(1)＝E_umax，初始位置为L_u(1)＝[x₁，y₁]；初始化传感器节点数据的信息年龄A_m(n)，m＝1,2,3,……,M；生命长度U_m(n)，m＝1,2,3,……M和队列长度q_m(n)，m＝1,2,3,……,M；

步骤S2：无人机遍历获取时隙n初始时刻所有传感器节点数据的信息年龄、生命长度和队列长度；并将所述信息年龄、生命长度、队列长度、无人机的位置L_u与无人机携带能量E(n)作为该时隙的状态s(n)，判断无人机携带能量E(n)是否小于能量阈值E_th，若是，执行步骤S3进入等待模式，若否，执行步骤S4进入工作模式，用Z_m(n)∈{0,1}表示节点m在时隙n的服务状态；其中Z_m(n)＝1表示传感器节点m的数据上传到无人机并由无人机转发数据至数据中心，反之Z_m(n)＝0；因此传感器节点m的队列长度更新为：

q_m(n+1)＝max{q_m(n)-Z_m(n)q_m(n),0}+C_m(n)；

用表示传感器节点m最新采样的数据包在时隙n的生命长度；在时隙n，若有一个新的数据包到达，则其生命长度记为1，即U_m(n)＝1；若没有新的数据包到达，且节点将数据上传到无人机，那么传感器节点数据为空，即U_m(n)＝0；否则生命周期随着时隙数以1为起点递增，其更新过程为：

信息年龄表示采样数据的新鲜程度，若无人机在时隙n将节点m的数据转发至数据中心，该节点信息年龄记为节点的生命长度U_m(n)，否则随着时隙数以1递增，其更新过程为

步骤S3：无人机停止在空中飞行，选择降落在地面上，无人机依靠太阳能、风能进行能量收集，待无人机能量超过等待模式切换至工作模式的第二阈值E_fl后执行步骤S4，时隙数n自增1；

步骤S4：子网络的策略网络给出状态s(n)下采取各个动作的概率π(a(n)|s(n)；θ′_a)，子网络的评价网络给出状态s(n)下的评价价值V(s(n)；θ'_c)，无人机执行子网络的策略网络决定的动作a(n)，所述动作包括飞行动作a_f(n)和或选取节点传输动作a_i(n)；

步骤S5：判断动作a(n)中是否包括选取节点传输动作a_i(n)，若是，则传感器节点将其缓存内所有数据上传至无人机，由无人机转发所述数据至所述数据中心；若否，则无人机将在整个时隙内用于飞行，时隙数n自增1；

步骤S6：判断n是否为n_up的倍数或n是否等于无人机飞行的最长时隙数N，若是，则分别利用所述全局网络的策略网络参数θ_a和评价网络参数θ_c的梯度dθ_a＝0，dθ_c＝0，更新全局网络参数θ_a和θ_c，子网络获取全局参数θ'_a＝θ_a，θ'_c＝θ_c,无人机执行a(n)后达到时隙数n为n_up的倍数或n等于无人机飞行的最长时隙数N时，利用无人机所得到的n_up个时隙下作出的每个动作的代价值集合c、状态集合s和动作集合a来计算相应的梯度，时隙j梯度的累积计算方式如下：

其中表示从时隙j起始的长期回报，γ为折扣因子，β为熵的权重，利用熵H(π(s(j)；θ'_a))来加大动作探索；若否，则执行步骤S7；

步骤S7：判断n是否小于无人机飞行的最长时隙数N，若是，则返回步骤S2；若否，则停止数据收集，返回无人机所采集的所有传感器节点信息年龄的平均值和无人机采集过程中的能耗e(n)。