[发明专利]一种基站密集型边缘计算网络中的在线任务卸载方法

权利要求书

1.一种基站密集型边缘计算网络中的在线任务卸载方法，其特征在于，操作步骤如下：

步骤一，为边缘计算网络建模：

考虑一个用户在一个基站密集型边缘计算网络覆盖的区域中移动，该区域中密集地部署了N个基站，所有基站构成集合每一个基站都配备一个边缘服务器，因此基站既可为用户提供无线电接入服务也可提供计算资源；

不同边缘服务器拥有不同的计算能力，其最大CPU处理频率表示为f_i；基站之间可通过有线电缆或者光纤进行通信；

为了更好地表征在线边缘计算系统，将时间离散化为多个等长时间片组成的时间序列，定义为在每个时间片下，用户设备会产生一个计算任务ψ^t＝(s^t，c^t)，其中s^t为输入数据大小，c^t为计算该任务所需CPU时钟周期数；

在每个时间片下，用户设备只能连接到部分基站且连接到不同基站的信道增益和用户的位置有关；

步骤二，为计算任务执行模式建模：

每个计算任务都可通过两种方式被执行，用o^t∈{0∪K^t}表示t时刻时用户的卸载决策；

步骤2-1、本地执行模型：

当o^t＝0时，任务在本地设备执行；用户需从个离散的等级中选择一个CPU频率去处理任务；处理任务计算时延为这一过程消耗的能量为其中κ为有效转换电容；

步骤2-2、边缘执行模型：

当o^t＝i∈K^t时，任务在边缘服务器i执行；用户首先需从个离散等级中选择一个传输功率来将任务数据以的数据传输率传送至边缘服务器，其中W_i是信道带宽，是边缘服务器i的平均干扰噪声，总传输时延为传输过程产生的能耗为

任务到达边缘服务器i后，处理时延为除此以外，若用户卸载时的服务器不同于上一次卸载的选择，会造成一定的服务迁移时延，用来表示用户连接基站的状态，且任意两基站间切换时延记为σ_i，j，由此切换时延为

另外在任何执行模型中，每个时间片下消耗的能耗不能超过当前剩余能量

根据上述系统模型，在时间t下，完成任务ψ^t的总时延可归结为能量消耗为

步骤三，卸载决策建模：

根据上述系统模型，卸载决策问题可建模成马尔可夫决策过程其中为状态空间，为动作空间，为转移概率，为奖励函数，γ∈[0，1]为折扣因子；

在每个时间片下，状态表示为是所有基站的信道增益，为决策动作，用户获得的奖励为其中ω₁和ω₂是两个目标的权重，x为当设备能源耗尽时的奖励；转移概率为在状态s^t采取动作a^t变化为s^t+1；

步骤四，确定卸载策略：

利用基于深度强化学习的方法为计算任务制定卸载策略，使得用户在移动过程中产生的任务所耗费的计算总时延和设备能耗尽可能的小。

2.根据权利要求1所述的移动边缘计算网络中的在线任务卸载方法，其特征在于，在所述步骤四中，深度强化学习方法包含两个交替的阶段，即卸载决策动作的产生和网络训练，其具体操作如下：

4-1、卸载决策动作产生：

在每个时间片t下，用户获取当前状态s^t输入到一个参数记为θ全连接神经网络中，该网络称为在线网络，包含一个输入层、两层隐藏层、一层输出层，此网络用于输出所有动作的价值，再通过筛选操作得到可选择动作，最后采用∈-贪心策略以∈的概率随机选择一个动作，以1-∈的概率选择具有最大值的动作，选择的动作a^t处理完计算任务得到由环境反馈的奖励r^t和下一个状态s^t+1；这一交互过程作为一条经验(s^t，a^t，r^t，s^t+1)存放到经验池中；

4-2、网络训练：随机从经验池中的采样一批大小为的经验以一条经验为例，将s^j输入到在线网络中，获得动作a^j的价值Q(s^j，a^j；θ)，再将s^j+1输入到在线网络中并选择一个具有最大价值的动作a^j+1＝argmax_aQ(s^j，a^j；θ)，再利用一个参数为θ_的目标网络，这个网络和在线网络具有相同的结构；接下来依据贝尔曼方程，根据经验中的奖励r^j来获取目标动作价值q^j：

q^j＝r^j+γQ(s^j+1，a^j+1；θ_)

由此，在线网络的参数可更新为：

其中α为学习率；除此以外，目标网络的参数每隔一段时间复制一次在线网络的参数作为自己的网络参数。