[发明专利]基于多智能体的车速感知的计算任务卸载和资源分配方法

说明书

本发明公开了一种基于多智能体的车速感知的计算任务卸载和资源分配方法，包括以下步骤：收集车辆端计算任务，根据车辆端计算任务的类型将车辆端计算任务划分为关键任务、高优先级任务及低优先级任务；分别计算不同计算资源及无线资源分配下，卸载到VEC服务器、本地执行及继续等待对应的时延和能耗，然后在各任务的时延门限约束下，形成以减小车辆端处理任务能量消耗的目标函数；将目标函数转化为马尔科夫决策过程；对多智能体增强学习网络进行训练；将待分配的车辆端和边缘服务器的状态输入到训练后的多智能体增强学习网络中，得任务卸载和资源分配结果，该方法能够有效提高VEC服务器场景下车辆的整体性能。

技术领域

本发明属于无线通信技术领域，涉及一种基于多智能体的车速感知的计算任务卸载和资源分配方法。

背景技术

随着物联网的快速发展，智能车载应用(包括自动驾驶，图像辅助导航和多媒体娱乐)已广泛应用于智能汽车，可以为驾驶员和乘客提供更加舒适、安全的环境。然而这些车载应用需要消耗大量的计算资源并且需要极低的处理时间，具有强大计算和存储能力的云服务器可以用于处理车辆的卸载计算任务，但由于长距离传输可能会导致较高的延时，为了应对云服务器的弊端，车辆边缘计算(VEC)应运而生。

VEC服务器更靠近于车辆终端并拥有强大的计算能力，并密集部署在路边单元(RSU)旁，通过将计算消耗型任务卸载到VEC服务器，可以显著减少车载应用的处理时延和能耗。

VEC的发展也面临很多挑战。例如，VEC网络中车速对计算任务的时延门限的影响，任务处理时延和能耗与任务卸载和资源分配策略的相互影响。因此，车速感知的任务时延门限以及任务处理时延和能耗与任务卸载和资源分配策略的相互影响问题的研究对VEC的整体性能至关重要。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供了一种基于多智能体的车速感知的计算任务卸载和资源分配方法，该方法能够有效提高VEC服务器场景下车辆的整体性能。

为达到上述目的，本发明所述的基于多智能体的车速感知的计算任务卸载和资源分配方法包括以下步骤：

1)收集车辆端计算任务，根据车辆端计算任务的类型将车辆端计算任务划分为关键任务、高优先级任务及低优先级任务，再根据车速确定关键任务、高优先级任务及低优先级任务的时延门限；

2)对于关键任务、高优先级任务及低优先级任务，分别计算不同计算资源及无线资源分配下，卸载到VEC服务器、本地执行及继续等待对应的时延和能耗，然后在各任务的时延门限约束下，形成以减小车辆端处理任务能量消耗的目标函数；

3)将步骤2)得到的目标函数转化为马尔科夫决策过程，初始化马尔科夫决策过程的状态空间、动作空间及奖励；

4)根据多智能体增强学习网络得新的状态、动作和奖励，并将新的状态、动作和奖励存储到经验回放池中；

5)当经验回放池中的数据达到阈值时，对多智能体增强学习网络进行训练，直到多智能体增强学习网络收敛为止；

6)将待分配的车辆端和边缘服务器的状态输入到训练后的多智能体增强学习网络中，得任务卸载和资源分配结果，完成基于多智能体增强学习的车速感知的计算任务卸载和资源分配。

根据车辆端计算任务的带宽和时延要求，将车辆端计算任务划分为关键任务φ₁、高优先级任务φ₂及低优先级任务φ₃，关键任务φ₁、高优先级任务φ₂及低优先级任务φ₃对应的时延门限分别为Thr₁、Thr₂及Thr₃，其中，关键任务φ₁的时延门限为10ms，低优先级任务φ₃的时延门限为100ms，高优先级任务φ₂与当前车辆的行驶速度相关，其中，任务的时延门限为：