[发明专利]基于TD3算法的计算卸载分配方法和装置

权利要求书

1.一种基于TD3算法的计算卸载分配方法，其特征在于，包括步骤：

获取计算卸载系统状态，将计算卸载系统状态输入预先训练好的计算卸载TD3网络的演员当前网络，得到计算卸载比例和计算卸载发射功率；

所述计算卸载系统状态包括：物联网设备到边缘服务器的信道增益、物联网设备的电池电量和可收集的可再生能源能量；

在t+1时隙，物联网设备的电池电量b^t+1表达为：

为本地物联网设备执行计算任务需要的能量消耗，为：

E^t₁为t时隙将卸载任务从本地物联网设备发送到边缘服务器需要的功率为卸载执行功耗，为：

其中，k为物联网设备芯片的电容有效系数，b^t表示t时隙物联网设备的电池电量；B为物联网设备到边缘服务器的带宽，p^t为t时隙物联网设备的计算卸载发送功率，σ为噪声功率，h^t为t时隙物联网设备用户的信道增益；x^t为计算任务卸载比例；C^t为计算任务的计算量；本地IoT设备CPU的频率为f，N为CPU处理1bit数据所需的周期数；e^t为t时隙可收集的可再生能源能量；

计算卸载TD3网络训练步骤包括：

1)初始化TD3网络；

2)初始化计算卸载系统状态，设置批评家当前网络参数更新次数为0，将计算卸载系统状态s^t输入TD3网络，得到计算卸载系统动作决策；构建训练样本；

3)每次训练从经验池中抽取M个样本训练TD3网络，更新批评家当前网络参数；批评家当前网络参数更新次数每更新指定次数后，则对演员当前网络参数通过损失梯度更新，以及使用软更新方式更新演员目标网络参数和批评家目标网络参数；若批评家当前网络参数更新大于训练总次数，则本回合训练结束，回合更新数加1；若回合更新数没有达到指定回合更新总次数则继续执行步骤2)，进行下一回合训练，否则执行步骤4)；

4)保存训练好的TD3网络中的演员当前网络参数；

训练样本构建步骤包括：

初始化TD3网络；

初始化计算卸载系统状态s^t；

将计算卸载系统状态s^t输入TD3网络中的演员当前网络，演员当前网络根据策略函数做出动作决策，得到t时隙的计算卸载系统动作a^t；

物联网设备根据t时隙的计算卸载系统动作a^t执行计算任务，得到下一时隙t+1的计算卸载系统状态s^t+1，并计算得到t时隙奖励值R^t；将样本[s^t,a^t,R^t,s^t+1]保存到经验池中，如果样本经验池中样本没有达到经验池容量W，则将下一时隙的计算卸载系统状态s^t+1输入到演员当前网络，生成下一时隙的计算卸载系统动作a^t+1，直到样本经验池满；

计算卸载系统动作a^t表示为：

a^t＝[x^t,p^t]

其中，计算卸载比例x^t∈[0,1]，p^t∈[0,p^max]，p^max为物联网设备发射功率最大值；

t时隙奖励值R^t：

其中，表示t时隙的计算任务的本地执行时延，T₁^t表示t时隙的计算任务的卸载传输时延，表示t时隙计算任务完全本地执行的时延；I(b^t+1≤0)表示任务丢弃指示函数，为任务丢弃权重，E^t₁为t时隙卸载执行功耗，为本地IoT设备执行计算任务需要的能量消耗。