[发明专利]基于概率转移深度强化学习的无线物联网资源分配方法

说明书

本发明公开了一种基于概率转移深度强化学习的无线物联网资源分配方法，该方法将决策agent分布式地放在每一个边缘服务器中，这样每个agent仅需要对其所服务的用户进行决策即可，极大程度地减小了决策变量空间，还降低了决策时延，同时提出一种基于分布式部分可观测马尔科夫决策过程的服务迁移模型，克服了因为每个agent所能观测的状态信息有限，使得决策不能达到最优解的问题。

技术领域

本发明涉及网络及物联网技术领域，特别涉及一种基于概率转移深度强化学习的无线物联网资源分配方法。

背景技术

MEC(Multi-access Edge Computing)是一个边缘云平台，通过与运营商网络结合(数据面功能是结合点)，提供一种新的网络架构，利用无线接入网络就近提供电信用户所需IT服务和云端计算功能，从而创造出一个具备高性能、低延迟与高带宽的电信级服务环境，让消费者能够享有高质量的业务体验。

如图1所示，某一应用场景的MEC网络由N个沿固定方向行驶的汽车用户M个基站和每个基站所属的边缘服务器组成。汽车与基站之间的通信方式为无线通信，例如4G/5G网络，因此汽车可以在各个小区之间做跨区切换。基站与边缘服务器，边缘服务器之间都是由光纤连接的。每个用户都在执行连续性的任务 T_i(d_i,f_i^L,f_i^r,h_i,δ_i^max),其中d_i表示一个时刻需要处理的数据大小，f_i^L表示用户的计算能力(例如CPU时钟频率)，f_i^r表示完成这个任务所需要的计算周期数，h_i表示用户与所在小区基站之间的信道质量，表示完成当前任务允许的最大时延。由于用户本地的计算能力可能不足以完成任务T_i，因此需要将任务卸载至边缘服务器e_l执行。此时可以考虑任务卸载模型为部分卸载，即将一个任务以卸载率a_i(η)卸载到边缘服务器e_l，剩余的1-a_i(η)部分任务则同时在用户u_i本地处理完成。

但在具体的应用实践中，研究人员发现，使用普通的强化学习方法对整个系统的服务迁移action进行决策需要知道整个系统的状态信息。这样的方式存在两个问题，

(1)决策变量空间会随着用户数量的增加而线性增加，使得算法难以收敛。

(2)决策变量的增加还会使得决策时延急剧增加，不能保证系统的实时性。

(3)每次决策都需要全局的信息使得系统必须有一个中心节点来实时搜集所有设备的状态信息，这无疑会增加网络的传输负担和状态信息搜索时延。

一种可行的方案是将决策agent分布式地放在每一个边缘服务器中，这样每个agent 仅需要对其所服务的用户进行决策即可，极大程度地减小了决策变量空间，还降低了决策时延。但随之而来的问题在于每个agent所能观测的状态信息有限，使得决策不能达到最优解。为了解决这些问题有需要提出了一种基于分布式部分可观测马尔科夫决策过程的服务迁移方法。

发明内容

有鉴于此，本发明的第一方面的目的是提供一种基于概率转移深度强化学习的无线物联网资源分配方法，能够解决上述问题。

本发明的第一方面的目的是通过以下技术方案实现的：

该基于概率转移深度强化学习的无线物联网资源分配方法，包括以下步骤：