[发明专利]基于深度强化学习的车辆边缘计算场景中的智能计算卸载方法

权利要求书

1.一种基于深度强化学习的车辆边缘计算场景中的智能计算卸载方法，其特征在于：包括以下步骤：

步骤1：基于本时间框架内的无线信道增益h_i，通过深度神经网络生成一个松弛的卸载决策集合x_t；

步骤2：通过保序量化方法将步骤1生成的松弛的卸载决策集合x_t量化为K个二进制的卸载决策；

步骤3：将量化得到的每个二进制卸载决策x_k代入到问题P1：

s.t.C1:x_i∈{0,1}

其中N为车辆终端的数量，x_i为车辆终端i(i＝1,…,N)的卸载动作，x_i＝1表示车辆终端i的计算任务卸载到边缘服务器，x_i＝0表示车辆终端i的计算任务在本地执行；f_M为边缘服务器所拥有的总计算资源，f_i为边缘服务器分配给车辆终端i的计算资源，T_i^c为车辆终端i的边缘计算总时延，w_i为车辆终端i任务计算时延的权重因子，T_i^l为车辆终端i的本地计算时延，a为边缘服务器向车辆终端传输能量信道时长占比比例，τ_i为车辆终端i的信道时长占比比例；

将问题P1转化为资源分配子问题P2：

s.t.C2、C3、C4、C5

其中，φ为处理1比特任务数据所需的循环数，D_i为车辆终端i上计算任务的数据量，μ为能量收获效率，P为边缘服务器的发射功率，h_i为第i个时间周期内的无线信道增益，k_i为车辆终端i的计算能效系数，β_i为车辆终端i上行链路的传输开销系数；X₀和X₁分别用于表示采取本地计算和卸载计算车辆的集合；W为无线信道的带宽；σ²为无线信道的高斯噪声频谱密度；

步骤4：将问题P2分解为P3和P4两个子问题：

s.t.C4、C5

s.t.C2、C3

求解问题P3得到时隙分配{a,τ}；求解问题P4得到计算资源分配f；

步骤5：对于每个二进制卸载决策，将求解问题P3、P4得到的结果代回问题P1并求解其得到的系统时延，对于所有的二进制卸载决策，选择系统时延最小的二进制卸载决策作为最优卸载决策；

步骤6：将得到的最优卸载决策和无线信道增益h_i作为经验标记数据存放到内存中；

步骤7：每隔δ个时间框架，从内存中随机选择一个数据样本，对深度神经网络进行训练，更新深度神经网络中的参数θ，然后返回步骤1，直至方法结束。

2.根据权利要求1所述一种基于深度强化学习的车辆边缘计算场景中的智能计算卸载方法，其特征在于：车辆终端i的边缘计算总时延为T_i^c为T_i^c＝T_i^r+T_i^es，其中T_i^r为车辆终端i的上行链路数据传输时延，T_i^es边缘服务器执行车辆终端i传输过来的任务所需要的执行时延。