[发明专利]无人机能耗最小化设计方法及装置

权利要求书

1.一种无人机能耗最小化设计方法，其特征在于，包括：

计算无人机与传感器节点的信道增益；

根据所述无人机与传感器节点的信道增益，计算传感器节点通信消耗的能量；

根据所述无人机与传感器节点的信道增益，计算传感器节点收集的能量；

计算无人机消耗的能量；

根据传感器节点通信消耗的能量和传感器节点电池剩余电量情况，计算传感器信息年龄AoI；

通过联合优化无人机的飞行轨迹，飞行时间以及信息采集和能量收集的策略以最小化无人机能耗，建立优化问题模型；具体包括：对优化问题模型进行数学描述，并采用深度强化学习方法将问题建模为具有有限状态和动作空间的马尔科夫决策问题进行求解；

建立基于DQN的无人机控制框架；具体包括：建立基于DQN的无人机控制框架的环境和智能体，将无人机视为一个智能体，将在空中的飞行运动，与传感器节点的交互如信息、能量传输视为环境；

在每个训练周期中的第n时刻，智能体需要感知周边环境状态s_n，包括传感器节点的电量、上传信息的AoI这些信息，从而根据当前环境决定下一时刻的动作，执行动作后，智能体获得环境相应的反馈奖励，并继续观察下一时刻状态，其中，智能体的训练过程通过不断地与环境进行交互，观察执行动作后状态的变化和环境反馈的奖励来调整动作策略，反复迭代学习，从而最大化累积回报，获得更好的动作策略；

智能体每次迭代过程中对给定的策略计算其值函数并根据值函数给出策略，采用DQN算法通过神经网络非线性逼近值函数评估状态s_n采取动作a_n的代价，其中，是人工神经网络的权重；

在存放数据前对历史数据进行标准化，即，其中x_o为原始数据、x_s为标准化后数据、为原始数据均值，为原始数据方差，对于任意一组历史数据，在线网络通过最小化损失函数来训练

使用梯度下降法更新在线网络；

根据所述基于DQN的无人机控制框架，基于DQN规划无人机飞行策略；具体包括：通过由三元组来描述基于DQN的无人机控制算法，将无人机能耗最小化优化问题转化为马尔科夫决策过程，其中表示智能体的状态，表示智能体执行的动作，表示智能体执行动作后环境反馈的奖励；其中，在第个时刻，智能体状态包含两部分：在第n时刻传感器节点和无人机的状态信息，包括传感器节点的当前储存能量、无人机收集信息的新鲜度、无人机的地理位置、飞行速度、飞行角度、能耗、飞行时间以及距离终点的距离；因此，在第个时刻，智能体状态表示为，其中，，，分别表示为第个传感器节点剩余的电量和采集信息的AoI；为无人机在第n时刻距离终点的位置，定义为；q_F为终点的水平坐标，q(n)为无人机的飞行水平坐标，v(n)为飞行速度，p(n)为第时刻无人机的飞行角度，E (n)为能耗，智能体状态空间为，其中；在第个时刻，智能体执行动作包含三部分：无人机的加速度a(n)，转角o(n)以及节点信息上传和能量收集策略c(n)，因此动作表示为；奖励函数包括无人机与终点的距离和无人机消耗的能量，若当前状态满足问题中的所有约束条件，则给予一定的奖励，若违反约束条件，则应受到惩罚。