[发明专利]基于深度强化学习的V2V通信多车辆任务卸载方法

权利要求书

1.一种基于深度强化学习的V2V通信多车辆任务卸载方法，其特征在于，包括如下步骤：

(1)将任务车辆HV的计算任务卸载给周边的多辆具有计算资源的远车RV，同时利用中继车辆REV进行多跳来传输任务；

(2)分别计算得到单跳V2V任务卸载的传输时延和利用中继车辆的多跳V2V任务卸载的传输时延；

(3)计算利用中继车辆的多跳V2V任务卸载的传输中断概率；

(4)根据步骤(2)计算得到的传输时延以及步骤(3)得到的传输中断概率，在保证任务卸载传输成功率的同时，对任务车辆卸载过程的功率和传输时延进行优化；

(5)根据步骤(4)的优化目标，运用深度强化学习DDPG算法解决优化问题。

2.根据权利要求1所述的基于深度强化学习的V2V通信多车辆任务卸载方法，其特征在于，步骤(1)中，在每个时刻任务车辆都有一个大小为x_t的任务，通过算法计算拆分为多个子任务，通过PC5接口卸载给一辆或者多辆计算车辆计算，或通过中继车辆卸载给通信范围外的计算车辆。

3.根据权利要求1或2所述的基于深度强化学习的V2V通信多车辆任务卸载方法，其特征在于，步骤(2)中，任务车辆可以根据任务量和计算车辆的计算资源和信道状态，计算得到单跳V2V任务卸载的传输时延和利用中继车辆的多跳V2V任务卸载的传输时延；

不选中中继车辆的单跳V2V任务卸载，传输时延表示为：

其中，

x_t表示在t时刻生成的任务数据大小；

y_t表示卸载任务后反馈结果的数据量大小；

表示HV和RVn的上行传输速率；

表示HV和RVn的下行传输速率；

ω_t表示RV的计算强度；

f_t,n表示t时段处理HV任务所分配的CPU频率，其中f_t,n∈[0,F_n]；

F_n是RVn的最大CPU频率；

具体的HV和RVn的上行传输速率和下行传输速率表示如下：

其中，是每个时刻分配的传输功率，W是信道带宽，σ²是噪声功率，P是RVn反馈结果所给定的固定发射功率，无线信道状态表示的是HV到RVn之间在时刻t的状态，与是任务卸载给RVn时的干扰；

任务车辆通过中继多跳传输到RVn的任务卸载传输时延表示为：

其中，

d_up(t,z)是第z跳下的上行无线信道传输时延，是传输的任务量大小比上第z跳的上行传输速率表示如下：

d_down(t,e)是第e跳下的下行无线信道传输时延，是传输的任务量大小比上第e跳的上行传输速率表示如下：

d_com(t,n)是任务传输到计算车辆RV时，在计算车辆RV上的计算时延，表示如下：