[发明专利]一种基于多智能体的端边云3C资源联合优化方法

权利要求书

1.一种基于多智能体的端边云3C资源联合优化方法，其特征在于，包括以下步骤：

S1、计算任务信息

位于端层的用户u∈Ν＝{1,2,…,N}产生的计算任务i∈Η＝{1,2,…,H}使用五元组ξ_i来表示，ξ_i＝{I_i，O_i，ω_i，τ_i，p_i}，其中I_i和o_i分别表示输入数据和计算结果，ω_i表示任务的计算密度；τ_i表示任务的约束时延；p_i表示任务流行度；输入数据I_i＝[I_i，1，I_i，2，I_i，3]，其中I_i，1∈{0，1}表示任务的输入数据来自于用户(I_i，1＝1)或云服务器(I_i，1＝0)；I_i，2表示输入数据量；I_i，3∈{0，1}表示缓存标识，当I_i，3＝1表示允许缓存，否则不允许缓存，计算结果O_i＝[O_i，1，O_i，2，O_i，3]，定义与输入数据I_i类似。

S2、学习算法模块

当本地计算资源无法满足任务需求时，可以将任务卸载到邻近的空闲终端、边缘服务器或是云服务器中执行，定义Z＝N∪{N+1，N+2}为计算节点集合，N+1和N+2分别表示边缘服务器E和云服务器C。

S3、优化目标定义

优化目标是最小化所有任务的完成时延，定义如下：

s.t.C₁：C₂：C₃：

S4、状态定义

状态S(t)＝{ξ_i,ψ_D(t),ψ_E(t),ψ_E(t),c_i(t)}。

S5、动作定义

MADRL由两个智能体组成，即计算智能体和缓存智能体，分别制定计算卸载和缓存决策。

S6、奖励定义

当智能体执行动作后，接收到即时奖励，为了实现3C资源优化，本文定义三种奖励：计算奖励r_com(t)，缓存奖励r_cac(t)，和全局奖励，r_b(t)。

2.根据权利要求1所述的一种基于多智能体的端边云3C资源联合优化方法，其特征在于，所述步骤S3中，当用户u产生的计算任务i卸载到节点j处理时，任务完成时延包含三部分：输入数据传输时延、计算时延和计算结果传输时延，定义如下：

3.根据权利要求2所述的一种基于多智能体的端边云3C资源联合优化方法，其特征在于，所述步骤S3中，表示将输入数据从数据源传输到计算节点的时延，表示将输入数据从缓存节点k传输到计算节点j的时延，表示任务的计算时延，为计算节点j分配给任务i的计算资源，表示将计算结果传输给目的地的时延，R_l数据转发路径上第l条链路的数据率，c_i，j∈(0，1}表示任务i在节点j中的缓存状态，c_i，j＝1表示有缓存，否则无缓存。

4.根据权利要求1所述的一种基于多智能体的端边云3C资源联合优化方法，其特征在于，所述步骤S3中，为任务完成时延，约束条件C₂表示终端d分配给任务i的计算资源不得超过其可用计算资源，F_d，卸载到边缘服务器和云服务器的所有任务计算资源之和不得超过边缘服务器和云服务器的可用计算资源，即F_E和F_C，约束条件C₃表示缓存在节点j的任务数据不得超过节点j的缓存空间C_j。