[发明专利]一种基于深度强化学习的虚拟现实语言任务卸载方法

权利要求书

1.一种基于深度强化学习的虚拟现实语言任务卸载方法，包括以下步骤：

步骤一、根据当前用户的位置进行聚类分析，得到用户的分类，并根据分类用户的移动特性分配对应的无人机或无人汽车作为移动边缘计算设备；

步骤二、在各移动边缘计算设备分别初始化一个深度神经网络DNN，网络参数θ随机产生；

步骤三、选择分配至该移动边缘计算设备上N个用户的信道增益h＝{h_i,i＝1,...,N}作为DNN的输入，并基于当前的DNN网络函数f_θ(·)输出任务卸载策略为二进制的任务卸载策略集合，表示如下：

式中N为用户数目；

步骤四、针对当前的任务卸载策略进行本地搜索，生成K个二进制的任务卸载策略X＝{x_k，i|x_k，i∈[0，1]，i＝1，…，N；k＝1，2，…，K}

步骤五、根据下式计算每个任务卸载策略x_k＝{x_k，i|x_k，i∈[0，1]，i＝1，...，N}的奖励值：

式(1)中x_k,i为第i个用户的任务卸载策略，其中：0代表本地执行，1代表卸载到MEC服务器执行；τ_i为第i个用户的数据传输时间，如果x_i＝0，则τ_i＝0；a为移动边缘端给用户设备进行充电的能量传输时间，w_i表示第i个用户的权重；

为本地计算的速率，公式为：

式(2)中∈为本地计算常数，k_i为计算能耗效率系数，h_i为移动边缘端与第i个用户之间的信道增益；

为数据传输速率，公式为：

式(3)中μ为能量收集效率，P为传输功率，N为接收机噪声功率，B是通信带宽，u为通信开销；

步骤六、根据下式选择最佳的任务卸载动作

并将作为样本添加到DNN的样本库中；其中样本库采用有限的存储器，当存储空间已满，则采用先入先出的淘汰方法将早期样本淘汰；

步骤七、针对新的样本库，采用梯度下降法对DNN进行训练，训练的目标函数为：

式(5)中，S为本次训练被选出的样本集合，|S|表示集合的势；

步骤八、检查算法是否收敛，如果为是，则输出当前的DNN用于实时的任务卸载决策，如果为否，则转至步骤三，通过不断更新存储器中的样本来促使算法收敛；

上述方法中的任务卸载方法中，所对应的移动虚拟现实语言交际模拟学习计算系统由云计算层、移动边缘计算层和用户层组成，所述的云计算层包含一个云服务器；

所述的移动边缘计算层包括若干个安装在无人机及无人汽车上的移动边缘计算设备，形成异构的移动边缘网络，其中每个移动边缘计算设备包含能量发射模块、通信模块和MEC服务器；

所述的用户层包括若干个移动虚拟现实设备，其中每个移动虚拟现实设备包含能量收集模块、通信模块和处理器以及电池；云服务器通过无线信道向移动边缘计算层的通信模块、用户层的通信模块传输虚拟现实数据，并激活对应的语言交际模拟学习计算任务；

所述的移动边缘计算设备中通信模块与MEC服务器相连，能量发射模块与移动虚拟现实设备中的能量收集模块以无线链路的方式连接；所述的移动虚拟现实设备中的通信模块与处理器相连，电池对通信模块与处理器供能，并从能量收集模块接收能量。

2.根据权利要求1所述的基于深度强化学习的虚拟现实语言任务卸载方法，其特征在于，所述步骤四中，式中x_k,i通过收缩本地搜索法获取，具体为：

式(6)中，Rand为随机位置矢量；t为矢量长度，t为一个递减的整数，表示本地搜索范围逐渐减小。

3.根据权利要求1所述的基于深度强化学习的虚拟现实语言任务卸载方法，其特征在于，所述步骤五中，由于公式中，τ_i和α取决于x_i，所以一旦求解出x_i后，可以根据下式求解最佳的τ_i*和α*：

式(7)～(8)中，M1是卸载动作中选择卸载到MEC上任务的个数，UB和LB分别是卸载矩阵的上下限，为ν*的函数，公式为：

式(9)中，W表示Lambert-W函数，exp表示e为底的指数函数，