[发明专利]一种基于强化学习的可靠车载边缘计算卸载方法

权利要求书

1.一种基于强化学习的可靠车载边缘计算卸载方法，其特征在于：包括如下步骤：

(1)构建车辆通信系统实现车辆与边缘服务器的通信，所述车辆包括搭载有数据中心，所述边缘服务器包括路侧单元及无人机；

(2)建立车辆与边缘服务器的通信网络，确定边缘计算的多目标优化问题和约束条件，具体数学模型表达式如下所示：

(C4)xi,j∈{0,1},

其中若x_i,j＝1表示任务v_i,j卸载至无人机，若x_i,j＝0则表示任务v_i,j通过无人机作为中继，且卸载至路侧单元；表示第i车辆传输第j任务所需的传输功率；C1表示保证传输可靠性的约束条件，其中γ_i,j表示信噪比，γ^tgt表示目标信噪比，1-ε表示可靠性阈值，ε为最大耐受传输错误率；表示传输功率的分布集，C2表示计算资源总消耗不能超过无人机的最大可用计算能力，其中表示任务v_i,j在无人机计算时的频率；C3表示移动车辆分配的传输功率不能超过功率阈值；C4表示二进制变量的约束；

具体计算过程如下：

(21)定义“传输可靠性”为成功传输概率超过给定的可靠性阈值的可能性，其数学表达式为：

Pr(γ_i,j≥γ^tgt)≥1-ε；

(22)获取卸载任务v_i,j至无人机的信噪比γ_i,j，其计算公式为：

其中K₀为系统常量，dis_i,j表示当第i车辆传输第j任务时与无人机的距离，e表示路径损耗指数，N₀表示噪声功率，|h_i,j|表示信道衰减参数，符合均值μ_h和方差C_h的一类分布；

(23)获取任务v_i,j从车辆传输至无人机的速率为：

其中ω_i,j表示任务v_i,j所分配的带宽；

(24)计算任务v_i,j分别卸载至无人机或路侧单元的时延，其计算公式为：

其中表示任务v_i,j从车辆至无人机的传输速率，表示任务v_i,j从无人机至路侧单元的传输速率，和分别表示任务v_i,j在无人机或者路侧单元执行时的计算频率，A_i,j和B_i,j分别表示任务v_i,j传输数据和计算数据的大小；

(25)基于参数和获取任务v_i,j的总延迟，其计算公式为：

(26)获取系统效用函数U_i,j，其计算方式为：

U_i,j＝α_i,jlog(1+χ-d_i,j)；

其中α_i,j是满意度参数，χ用来调整对数函数使其非负；

(27)获取计算能源消耗E_i,j，其计算公式为：

其中是任务v_i,j在无人机上的传输功率，κ^u表示有效电容系数，由无人机的CPU硬件结构决定；

(3)基于最小化能源消耗和最大化系统效用为目标，分解多目标优化任务，确定功率分配任务和计算卸载任务；

其中，对于功率分配任务的具体计算过程如下：

(s31)基于信道衰减参数|h_i,j|，引入变量使得令其中α表示信道路径损耗指数，令符合如下分布：

(s32)“传输可靠性”的机会约束可表示为：

(s33)使用广义的Chebyshev不等式转化机会约束，其表示为：

(s34)满足高度可靠的通信要求，推导出在最坏情况的信道条件下，成功传输任务v_i,j所需要的最小传输功率，其计算公式为：

对于计算卸载任务过程具体如下：

(S31)将多目标优化任务转化为马尔可夫决策模型，划分为若干个时间片t，在时间t的系统状态s可表示为：

其中表示无人机当前状态下可用计算资源，表示所有边缘服务器当前状态下剩余的可用能源；

在时间t的动作a可表示为：

a(t)＝{λ⁰(t),λ¹(t)}；

其中λ⁰(t)+λ¹(t)＝1，分别表示计算任务卸载到路侧单元或者无人机的概率；

(S32)定义π为在状态s选择动作a可能性的策略函数，在策略π下，状态和动作对s,a的函数值被定义为Q^π(s,a)，其计算公式为：

其中σ∈(0，1)是学习速率，δ反映在未来迭代中的预测奖励的重要性的折扣率；

(S33)令w和w'分别表示训练网络和目标网络的参数集，获取目标Q值，其计算公式为：

(S34)训练网络的参数集w根据损失函数进行更新，损失函数表示为：

Loss(w)＝E[y(s,a)-Q^π(s,a,w)]²；

(S35)利用优化的返回值G(s,a)替代目标Q值y(s,a)，更新后的损失函数表示为：

Loss(w)＝E[G(s,a)-Q^π(s,a,w)]²；

(S36)利用DQN中的优先经验回放，提高深度强化学习过程中的学习性能，利用深度强化学习模型通过离线方式，学习不同任务卸载实例数据的调度经验，无人机保存训练好的模型进行在线更新；

(4)根据车辆与边缘服务器构建的通信网络，边缘服务器完成车载边缘计算任务并反馈至车辆。

2.根据权利要求1所述的基于强化学习的可靠车载边缘计算卸载方法，其特征在于：步骤(1)所述路侧单元为设置在道路旁的固定式服务器，所述无人机搭载有服务器，包括处理车辆数据中心的计算任务或作为中继将该计算任务进行转发至路侧单元。