[发明专利]一种基于强化学习的可靠车载边缘计算卸载方法

说明书

本发明公开了一种基于强化学习的可靠车载边缘计算卸载方法，用于由于城市障碍物导致的路侧单元(RSUs)覆盖范围有限，或者路侧单元计算能力不足等场景中，车辆可以借助无人机(UAV)进行可靠的计算卸载。本发明所述方法将最大化系统效用和最小化功率消耗的多目标优化问题，转化为功率分配问题和计算卸载问题两个子问题，由无人机和路侧单元共同完成任务的分配和计算。该方法通过为传输功率创建机会约束，使用Chebyshev不等式转化机会约束，推导出最小传输功率，确保任务传输的可靠性。本发明通过改进的深度强化学习模型提高计算卸载效率，利用多目标优化问题的结果，调整深度强化学习模型中预测的目标Q值，实现边缘服务器的离线训练，在线更新。

技术领域

本发明属于车联网的通信技术领域，具体涉及一种基于强化学习的可靠车载边缘计算卸载方法。

背景技术

边缘计算是为车辆提供强大计算能力的最有前途的技术之一，为了使车辆在复杂的交通场景中做出快速响应，它使移动车辆能够将计算任务卸载到各种边缘服务器，例如路侧单元和路侧单元。由于动态车辆网络中的不完全覆盖和间歇性连接，设计一个可靠、高效的计算卸载策略是一个挑战。无人机由于价格低廉、易于部署和灵活移动的优势，已经在包括但不限于智能传感器数据采集、目标跟踪、灾区监测和通信辅助等领域得到应用和发展，考虑通过无人机实现可靠、高效的计算卸载策略。

在无人机技术发展下，通过为无人机配备专用通信接口，无人机可以飞到没有基础设施覆盖的目标区域，并与各种网络设备通信，以提供更好的网络连接。此外，无人机本身有一部分空闲的计算资源，可以用来为没有足够计算能力的网络边缘设备(例如驾驶车辆和移动用户)执行任务。通过连接到具有强大计算能力的边缘服务器，无人机可以交替地将部分任务卸载到边缘服务器，以获得更高的计算速度。

深度强化学习(DRL)将深度学习的感知能力和强化学习的决策能力相结合，将两者结合起来，优势互补，为复杂系统的感知决策问题提供了解决思路。

本发明考虑车联网中计算卸载与无人机技术的结合，对深度强化学习算法作进一步改进，提出了一种基于强化学习的可靠车载边缘计算卸载方法。

发明内容

发明目的：本发明旨在实现最大化系统效用，以及最小化能源消耗，解决动态环境下，车辆与无人机之间的高可靠性计算卸载问题。

技术方案：一种基于强化学习的可靠车载边缘计算卸载方法，包括如下步骤：

(1)构建车辆通信系统实现车辆与边缘服务器的通信，所述车辆包括搭载有数据中心，所述边缘服务器包括路侧单元及无人机；

(2)建立车辆与边缘服务器的通信网络，确定边缘计算的多目标优化问题和约束条件，其数学模型表达式如下所示：

(C4)xi,j∈{0,1},

其中若x_i,j＝1表示任务v_i,j卸载至无人机，若x_i,j＝0则表示任务v_i,j通过无人机作为中继，且卸载至路侧单元；表示第i车辆传输第j任务所需的传输功率；C1表示保证传输可靠性的约束条件，其中γ_i,j表示信噪比，γ^tgt表示目标信噪比，1-ε表示可靠性阈值，ε为最大耐受传输错误率；表示传输功率的分布集，C2表示计算资源总消耗不能超过无人机的最大可用计算能力，其中表示任务v_i,j在无人机计算时的频率；C3表示移动车辆分配的传输功率不能超过功率阈值；C4表示二进制变量的约束；

(3)基于最小化能源消耗和最大化系统效用为目标，分解多目标优化任务，确定功率分配任务和计算卸载任务；