[发明专利]一种基于强化学习的多次级用户移动边缘计算的方法

权利要求书

1.一种基于强化学习的多次级用户的移动边缘计算方法，其特征在于，所述计算方法包括下列步骤：

S1、系统初始化参数，确定主级用户的个数N_P，次级用户的个数N_S，边缘服务器的个数以及控制节点的个数N_M，次级用户的发射功率P，次级用户的任务量为Task，每一个次级用户与边缘服务器之间信道的信道容量C，通信紧急度Em为零；初始化方法参数，边缘服务器所对应的信道的状态初始为未占用，值为零，初始化Q值均为零，学习速率为α，折现因子为δ，优先级函数值为零，优先级阈值为θ，且优先级队列为空，开始迭代；

S2、主级用户选择占用边缘服务器M_P，该服务器的状态值为1；

S3、次级用户i根据ε-贪婪策略提出占用边缘服务器资源的申请M_i1，并且确定计算卸载的任务量x；

S4、控制中心处理各次级用户的申请，并且为其分配边缘服务器；

S5、获得边缘服务器资源的次级用户实现卸载计算，未获得占用资格的次级用户，则进行完全本地计算；

S6、计算各次级用户当前效用作为即时回报，并将即时回报和成功连接的边缘服务器更新至优先级模型中；

S7、更新通信紧急度，且更新Q值和优先级函数，若优先级函数高于阈值θ，则将此状态和选择加入优先级队列中，并按照优先级顺序更新相应的Q值；

S8、判断是否满足迭代终止条件，若满足，则计算整个方法执行后各次级用户平均效用；若不满足，则跳转至步骤S2；

所述步骤S7具体包括：

S71、更新通信度主要是根据次级用户是否成功获得边缘服务器资源决定，若次级用户成功占用原申请服务器，则其通信紧急度保持不变；若次级用户仅可使用非原申请边缘服务器，则E_m+1；若次级用户并未获得服务器的资源，仅能完全本地计算，那么其E_m+2；

S72、更新Q值为，将以学习速率α学习到的未来折扣回报与当前Q值之间的误差，即预测误差，叠加至当前Q值之上；更新优先级函数为，取预测误差和当前优先级函数值的最大值作为新的优先级函数值。

2.根据权利要求1所述的一种基于强化学习的多次级用户的移动边缘计算方法，其特征在于，所述步骤S4具体包括：

S41、控制中心将各个次级用户的申请进行处理；

S42、若边缘服务器所对应的信道状态为1，则申请该服务器的次级用户不可获得使用权，跳转到步骤S44；

S43、若一个边缘服务器仅被申请一次，则该边缘服务器由所申请的次级用户占用，即成功占用原申请服务器；

S44、若边缘服务器被申请两次及以上，则根据各个次级用户的通信紧急度进行排序，通信紧急度较高的优先获得边缘服务器的使用权，即占用非原申请服务器资源；

S45、未获得边缘服务器使用权的次级用户，则被随机分配未被申请的边缘服务器，保证所有的边缘服务器均被占用或者次级用户均获得服务器资源；若存在边缘服务器已占满，部分次级用户未获得服务器资源，那么次级用户只能进行完全本地计算。

3.根据权利要求1所述的一种基于强化学习的多次级用户的移动边缘计算方法，其特征在于，所述步骤S6具体包括：

S61、各次级用户的效用性包含两个部分，主要有计算的延时和计算的能耗，与效用性成反比；

S62、进行本地计算的次级用户的效用值中，包含本地计算延时和本地计算能耗；进行计算部分卸载的次级用户的效用值中，包含本地计算延时、本地计算能耗、卸载时延和卸载能耗。