[发明专利]基于5G多小区深度强化学习的边缘计算迁移方法

说明书

本发明公开了一种基于5G多小区深度强化学习的边缘计算迁移方法。属于边缘计算领域与深度强化学习领域；具体步骤：终端制定计算迁移方案；将待计算迁移的任务参数信息，信道增益以及临近干扰小区的信息发送给小区内MEC服务器；对可被小区间迁移的MEC服务器排序；在MEC服务器处制定计算迁移策略；根据计算迁移策略，终端将任务迁移到MEC服务器计算；无法计算迁移的任务在终端处计算，并等待下次迁移。本发明用任务执行优先级函数以及负载指标函数表示迁移任务以及可被小区间迁移的MEC服务器的优先级，用深度强化学习，贪心算法以及小区间迁移三者相结合提高资源利用效率以及确保负载均衡。

技术领域

本发明涉及边缘计算领域与深度强化学习领域，具体涉及一种基于5G多小区深度强化学习的边缘计算迁移方法。

背景技术

根据Cisco Visual Networking Index最新的报告，预测到2022年，每年移动数据流量的将达到1zettabyte(930exabytes)，这是2012年全球所有移动流量的近113倍。同时，全球移动通信系统协会(GSMA)也指出2020年以后全球网民数量将达到50亿。目前，终端设备产生的海量数据已经明显超过设备自身的处理能力，同时，兴起的移动应用也向着复杂化、大型化发展，如：人脸识别，虚拟现实，增强现实以及混合现实等。这些发展使得在终端设备中完成计算密集型任务变得不可行。因为对于终端设备来说，它有着资源受限，计算力不足，电池寿命不长等缺点，很难满足任务请求时延以及网络服务质量。为此，边缘计算的运用越来越受到关注，其主要是移动设备将复杂的计算任务迁移到距离更近的边缘云以确保满足时延需求。同时，随着机器学习的发展，深度强化学习也开始在各行各业中使用。如何利用深度强化学习实现终端计算任务的高效迁移以及合理资源分配方式，成为边缘计算迁移的研究热点。该研究成果不仅能合理的运用通信资源，减少通信系统能耗，而且还结合其他领域进行创新。此外，随着5G时代的到来，5G加MEC会使边缘计算具有很好的前景，对我国的经济发展有着推动作用，对成为科技强国具有极大的意义。

在现有的边缘计算迁移研究中，大部分研究都是通过传统算法对计算迁移问题求解，得到合理的资源分配方式，以优化系统能耗或联合优化能耗与时延等。但是，使用传统算法，一方面会由于问题复杂导致求解过程明显繁琐，算法效率太低；另一方面无法很好的应对复杂多样的环境，只存在理论的可行性。相比于这些算法而言，深度强化学习有着不需要预先花费大量时间和精力训练神经网络，能在动态变化的环境中学习等特点，很快成为人们关注的重点，所以将深度强化学习与边缘计算结合是既具有研究价值同时又极具挑战性的热门课题。

尽管深度强化学习为更好的实现边缘计算迁移提供了可能，但在实际的运用中，终端任务请求数量多，上传的数据维度大以及数据特征不够等问题，将会影响深度强化学习的计算效率和评估准确率。此外，深度强化学习模型的输入维度是固定的，对于过量的任务计算迁移请求，如何选择更合适的计算迁移方式以及处理多出的迁移任务，也会整个用户体验产生影响。所以还需要在深度强化学习的基础上进行一定的改进，以更加有效的方式实现终端任务的计算迁移。

为此，本发明先从迁移任务的处理优先级以及负载均衡的角度出发，分别提出了结合多种数据参数的执行优先级函数和负载指标函数；再从深度强化学习输入特征的角度出发，提出将任务参数信息与邻近干扰小区的信息相结合的DQN模型；接着从DQN模型输入维度固定的角度出发，对多出的迁移任务使用贪心算法以及小区间迁移实现整体计算迁移；最后考虑无法迁移的任务，使其在终端处计算等待下次迁移。从而提出基于5G多小区深度强化学习的边缘计算迁移方法。

发明内容

针对上述问题，本发明提供了一种基于5G多小区深度强化学习的边缘计算迁移方法。一方面使用任务执行优先级函数以及负载指标函数，来表示迁移任务以及可被小区间迁移的MEC服务器的优先级；另一方面使用深度强化学习，贪心算法以及小区间迁移进行计算迁移来提高资源利用效率以及确保负载均衡。

本发明的技术方案是：基于5G多小区深度强化学习的边缘计算迁移方法，具体步骤包括如下：