[发明专利]一种无人机辅助的异构车联网任务迁移与资源分配方法

权利要求书

1.一种无人机辅助的异构车联网任务迁移与资源分配方法，其特征在于，包括步骤如下：

(1)在路侧单元即RSU部署移动边缘计算即MEC服务器，系统中部署无人机可以为车辆提供计算服务，车辆的计算任务可以本地处理，卸载到无人机或MEC服务器；

(2)建立包括N个车辆和M个无人机的通信模型和计算模型，进而建立联合计算迁移和资源分配模型；

(3)每辆车获取无人机和MEC位置、计算资源占用情况以及任务信息；

(4)基于势博弈得到每辆车是否卸载的决策，根据得到的车辆卸载决策，对决定任务卸载的车辆以降低系统时延为目标建立深度强化学习模型；

(5)基于DDQN训练深度强化学习模型；

(6)在执行阶段，有计算任务的车辆n通过势博弈判断任务是否卸载，决定卸载的车辆n₀根据本地观察获得当前状态利用训练好的深度强化学习模型得到车辆的卸载节点和发射功率；

进一步，所述步骤(4)包括如下具体步骤：

(4a)基于势博弈得到每辆车是否卸载的决策，将任务车的卸载决策建模为势博弈，表示为其中为车辆的集合，a_n为车辆n的卸载决策，u_n为车辆n的代价函数，在博弈模型中，每个车辆均为一个资源竞争者，因此存在N辆车竞争网络内的有限资源，每辆车都可以选择卸载计算或者本地执行任务计算，其中a_n∈{0，1}为车辆n的卸载决策，表示所有车辆的卸载决策集合，a_n＝0表示车辆n在本地执行计算任务，a_n＝1表示车辆n将任务卸载到MEC服务器或无人机进行计算，当车辆n的卸载决策为a_n时，其代价函数表示为u_n(a_n，a_-n)，其中a_-n表示除车辆n以外的所有车辆的卸载决策集合，每辆车辆都可以希望通过找到最优的卸载决策来最小化自身代价，即

其中为车辆n本地计算任务的时延，为车辆n将任务卸载到MEC服务器的时延，为车辆n将任务卸载到无人机计算的时延，势博弈收敛于纳什均衡，即通过最优响应迭代找到卸载决策所有车辆不存在改变当前卸载决策可以最小化自身代价；

(4b)根据卸载决策用集合将车辆中卸载决策车辆，N₀表示车辆的数目，将车辆中卸载决策车辆视为智能体，定义状态s为与发射功率和卸载节点有关的观测信息和低维度指纹信息，包括车辆n₀到无人机的信道状态信息车辆n₀到MEC的信道状态信息车辆n₀到无人机的接收到的车辆n₀到MEC的接收到的干扰车辆n₀的任务信息训练回合数e和ε-贪心算法中的随机探索变量ε，即

将车辆视为智能体，每次车n₀基于当前状态选择卸载节点和发射功率；

(4c)定义每辆决定卸载的车n₀的动作为选择的卸载节点和发射功率，表示为为车辆n₀选择的任务卸载节点，为车辆n₀可选择的任务卸载节点的集合，为车辆n₀离散的发射功率级；

(4d)定义奖励函数r，卸载的目标是卸载决策的车辆选择卸载节点和发射功率，在满足最大发射功率的约束下，最小化所有卸载决策车辆的任务处理时延，因此奖励函数可以表示为：

其中b是固定的值用来调整奖励函数的值，表示车辆n₀的计算任务在位置z₀执行，表示车辆n₀的计算任务不在位置z₀执行，表示车辆n₀的计算任务在位置z₀执行的时延；

(4e)依据建立好的状态，动作和奖励函数，在Q学习的基础上建立深度强化学习模型，每辆决定卸载的车n₀建立相应的评估函数表示决定卸载的车n₀从状态执行动作后产生的折扣奖励，Q值更新函数为：

其中r_t为即时奖励函数，γ为折扣因子，为决定卸载的车n₀在t时刻的获取与发射功率和卸载节点有关的观测信息和低维度指纹信息，表示决定卸载的车n₀在t时刻执行后的状态，为动作构成的动作空间。