[发明专利]一种基于深度强化学习的云边协同计算迁移方法

说明书

本发明公开了一种基于深度强化学习的云边协同计算迁移方法，包括以下步骤：(1)构建由用户层、边缘云层和云层组成的移动边缘网络计算迁移模型；(2)边缘云层内的边缘云节点接收到用户层迁移的计算任务，根据任务分配宽带和计算资源；(3)以计算任务的时延和能耗最小作为优化目标，构建目标函数和约束；(4)构建深度神经网络模型，采用异步边缘云协同深度强化学习的方法对目标函数进行优化，得到最优的迁移决策，并返回用户层的终端执行该决策。本发明能够解决大数据场景下求解复杂组合优化的问题，解决了传统梯度优化方法存在收敛速度慢的缺点，在处理大规模数据时方法耗时更短，可以适应大数据网络数据处理时效性需求。

技术领域

本发明涉及一种计算迁移方法，尤其涉及一种基于深度强化学习的云边协同计算迁移方法。

背景技术

在云计算模式中，大量终端设备感知的数据会被迁移至集中式云服务器上处理，从而大大扩展终端设备的计算能力。然而，云计算模式中云服务器通常与终端设备相距甚远，导致了应用任务处理的高延迟以及大规模数据远程传输的高开销。该类问题的存在，催生了边缘计算模式的产生，边缘计算作为一种新的计算模式，将计算、存储资源下沉到靠近终端设备的接入网络边缘，试图将云服务提供商、移动运营商与异构互联网终端进行深度融合，从而减少端到端的业务服务时延，缓解核心网流量压力，满足复杂多样化的应用需求。虽然边缘计算可以快速响应终端设备的请求，对于诸如虚拟现实服务等对延迟敏感的任务非常重要，但是单个资源受限的边缘节点往往无法及时处理所有终端设备发出的计算任务请求。此时，如何高效利用周边空闲边缘节点或云服务器节点的计算/存储资源就显得特别重要，计算迁移方法也因此得到了工业界的广泛关注。

当前，在边缘计算场景下许多性能优越的计算迁移方法被提出，大致可以分为如下三类：

第一类方案基本都基于精确方法或基于数学规划的近似方法来求解相应的计算迁移优化问题，在大数据场景下求解复杂组合优化问题显得力不从心，同时求解方法难以根据相应的实际场景变化做出自适应的迁移决策。

第二类方案结合了机器学习理论的计算迁移研究，大都采用单一的深度学习或者强化学习理论来解决相应的优化问题，此类求解方法没能将机器学习中的感知能力和决策能力优势充分发挥，使得求解方案具有局限性。

第三类方案通过有机结合深度学习的表征学习能力和强化学习的决策能力，使得智能体具备更强的学习能力，进而能够更好地解决复杂系统的感知决策问题。基于深度强化学习的求解方法，都使用一个或者多个并行的深度神经网络来有效且高效地生成迁移决策，同时将生成的迁移决策存储在共享内存中，以进一步训练和改进深度神经网络，从而能够更好的依据具体的网络环境快速做出自适应的迁移决策。上述基于深度强化学习的求解方法，在面对边缘节点过多或者任务量巨大的场景时，由于边缘云中资源的局限性和边缘节点之间处理任务的相关性，这类方法往往无法根据实时动态环境的差异性做出最优的迁移决策，同时越来越多的迁移决策存储在共享内存中，会导致边缘节点的存储负担过重，影响边缘节点的处理效率。

发明内容

发明目的：本发明旨在提供一种结合云计算和深度强化学习的边缘计算方法来实现大数据的迁移计算，同时能够降低终端设备迁移计算的延迟和能量开销，并且在最大容许延迟内做出最优的迁移决策。

技术方案：本发明的基于深度强化学习的云边协同计算迁移方法，包括以下步骤：

(1)构建由用户层、边缘云层和云层组成的移动边缘网络计算迁移模型；

(2)边缘云层内的边缘云节点接收到用户层迁移的计算任务，根据任务分配宽带和计算资源；

(3)以计算任务的时延和能耗最小作为优化目标，构建目标函数和约束；

(4)构建深度神经网络模型，采用异步边缘云协同深度强化学习的方法对目标函数进行优化，得到最优的迁移决策，并返回用户层的终端执行该决策。

有益效果：与现有技术相比，本发明具有如下显著优点：