[发明专利]一种基于多智能体的端边云3C资源联合优化方法

说明书

本发明涉及多智能体资源联合优化技术领域，且公开了一种基于多智能体的端边云3C资源联合优化方法，包括以下步骤：S1、计算任务信息、S2、学习算法模块、S3、优化目标定义、S4、状态定义、S5、动作定义、S6、奖励定义。一种基于多智能体的端边云3C资源联合优化方法，针对异构网络中不同用户产生不同类型的计算任务，研究一种端‑边‑云协同的计算缓存与卸载方法，以实现3C资源的联合优化，降低任务完成时延和资源开销，对计算任务进行建模，利用五元组描述任务特征；然后将计算缓存与卸载问题建模为以最小化网络整体时延为目标的优化问题；最后定义多智能体深度强化学习模型中的网络状态和全局奖励函数，有效降低了整体网络的时延。

技术领域

本发明涉及多智能体资源联合优化技术领域，具体为一种基于多智能体的端边云3C资源联合优化方法。

背景技术

3C联合优化算法一般是将热门内容缓存到离用户更近的位置，可以降低用户下载时延；将计算任务卸载到算力充足的计算节点可以降低计算完成时延，提升用户体验，云中心具有充沛的缓存和计算资源，但距离用户较远，传输时延高，带宽开销大，通过在边缘节点部署缓存和计算资源，可以降低内容下载和计算完成时延，缓解云中心和骨干网压力，将计算任务的输入或输出数据缓存在离用户更近的位置中，可以有效地降低任务完成时延，缓存的本质是利用缓存资源换取通信资源，计算卸载的本质则是利用通信资源换取计算资源，缓存、计算、通信资源三者息息相关，共同决定任务完成时延。

缓存的本质是利用缓存资源换取通信资源，计算卸载的本质则是利用通信资源换取计算资源，缓存、计算、通信资源三者息息相关，共同决定任务完成时延，因此，对三者进行联合优化至关重要，现有的3C联合优化算法大多针对某一特点类型应用，无法适应包含多种类型应用的异构网络，此外，大多联合优化算法仅针对端-边计算架构，没有充分利用云中心大量的计算和存储资源。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于多智能体的端边云3C资源联合优化方法，具备利用计算、缓存和全局奖励函数对3C资源之间的联系进行建模，以降低整体网络的时延。本发明定义的计算奖励用于衡量计算卸载决策为产生计算任务的用户带来的时延收益；缓存奖励函数用于衡量缓存决策为网络带来的计算资源收益等优点，解决了现有的3C联合优化算法大多针对某一特点类型应用，无法适应包含多种类型应用的异构网络，此外，大多联合优化算法仅针对端-边计算架构，没有充分利用云中心大量的计算和存储资源的问题。

(二)技术方案

为实现上述实现异构网络中端-边-云协同的3C资源联合优化，利用计算、缓存和全局奖励函数对3C资源之间的联系进行建模，以降低整体网络的时延目的，本发明提供如下技术方案：一种基于多智能体的端边云3C资源联合优化方法，包括以下步骤：

S1、计算任务信息