[发明专利]一种基于强化学习的多次级用户移动边缘计算的方法

摘要

本发明公开了一种基于强化学习的多次级用户移动边缘计算的方法，该方法基于Dyna结构下优先级扫描方法，适用于频谱资源紧张，时延和能耗要求高的移动边缘计算无线通信环境，属于无线通信领域。该方法主要包括四个步骤：首先主级用户进行边缘服务器的选择；其次次级用户向控制中心提出占用边缘服务器申请；然后控制中心处理申请，并分配边缘服务器，次级用户进行部分计算卸载或完全本地计算；最后计算每个次级用户的效用性。该方法将强化学习应用于移动边缘计算无线通信网络，并结合Q学习的无模型和优先级扫描方法的择优更新的优势，在保证系统整体效用性能的同时，满足了各次级用户时延和能耗的需求，提高了资源的利用率。

主权项

1.一种基于强化学习的多次级用户的移动边缘计算方法，其特征在于，所述计算方法包括下列步骤：S1、系统初始化参数，确定主级用户的个数N_P，次级用户的个数N_S，边缘服务器的个数以及控制节点的个数N_M，次级用户的发射功率P，次级用户的任务量为Task，每一个次级用户与边缘服务器之间信道的信道容量C，通信紧急度Em为零；初始化方法参数，边缘服务器所对应的信道的状态初始为未占用，值为零，初始化Q值均为零，学习速率为α，折现因子为δ，优先级函数值为零，优先级阈值为θ，且优先级队列为空，开始迭代；S2、主级用户选择占用边缘服务器M_P，该服务器的状态值为1；S3、次级用户i根据ε‑贪婪策略提出占用边缘服务器资源的申请M_i1，并且确定计算卸载的任务量x；S4、控制中心处理各次级用户的申请，并且为其分配边缘服务器；S5、获得边缘服务器资源的次级用户实现卸载计算，未获得占用资格的次级用户，则进行完全本地计算；S6、计算各次级用户当前效用作为即时回报，并将回报和成功连接的边缘服务器更新至优先级模型中；S7、更新通信紧急度，且更新Q值和优先级函数，若优先级函数高于阈值θ，则将此状态和选择加入优先级队列中，并按照优先级顺序更新相应的Q值；S8、判断是否满足迭代终止条件，若满足，则计算整个方法执行后各次级用户平均效用；若不满足，则跳转至步骤S2。