[发明专利]雾无线接入网中基于联邦强化学习的智能编码缓存方法

权利要求书

1.一种雾无线接入网中基于联邦强化学习的编码缓存方法，其特征在于，包括以下步骤：

步骤1、在云中心服务器构建全局模型θ_G并初始化，在每个雾接入点处布置学习代理并初始化其本地模型θ_k；

步骤2、在时隙t末端，系统观察全局状态s(t)，每个雾接入点观察其本地状态s_k(t)；

步骤3、系统根据观察到的全局状态s(t)，使用全局模型预测并实施实际编码缓存内容放置决策a(t)，同时每个雾接入点根据其观察到的本地状态s_k(t)预测并记录虚拟内容放置决策a_k(t)；

步骤4、时隙t+1内，系统根据实施的内容放置决策a(t)，使用多播编码传输方式满足各个雾接入点接收的请求；

步骤5、在时隙t+1末端，本地状态变为s_k(t+1)，每个雾接入点统计时隙t+1内其服务用户的内容请求情况，并根据其虚拟放置决策a_k(t)计算理论时延和虚拟反馈r_k(t)，存储本地学习经验[s_k(t)，a_k(t)，r_k(t)，s_k(t+1)]^T；

步骤6、每个雾接入点随机抽样其本地学习经验进行训练，实现本地模型更新；

步骤7、每隔T_A个时隙，所有雾接入点将其本地模型上传至云中心服务器整合，并下载整合后的全局模型用于其替换本地模型；

步骤8、重复执行步骤2至步骤7，直至全局模型在连续时隙的预测性能波动小于5％。

2.根据权利要求1所述的雾无线接入网中基于联邦强化学习的编码缓存方法，其特征在于，所述步骤1具体包括以下步骤：

步骤1.1、云中心服务器构建神经网络Q(s，a；θ_G)，其中s为当前全局状态向量，a为全局内容放置决策向量，θ_G为全局网络模型参数并被随机初始化；

步骤1.2、对于为雾接入点索引集合，K为雾接入点的数目，雾接入点k构建神经网络Q(s_k，a_k；θ_k)，其中s_k为当前本地状态向量，a_k为本地内容放置决策向量，θ_k为本地网络模型参数并被随机初始化。

3.根据权利要求1所述的雾无线接入网中基于联邦强化学习的编码缓存方法，其特征在于，所述步骤2具体包括以下步骤：

步骤2.1、在时隙t末端，系统观察全局状态其中a(t-1)为t-1时隙系统做出的全局缓存决策，为t时隙系统内所有N个文件的统计请求频率向量；

步骤2.2、同时，对于雾接入点k观察其本地状态其中a_k(t1)为t-1时隙记录的本地缓存决策，为时隙t雾接入点k内所有N个文件的请求频率向量。

4.根据权利要求1所述的雾无线接入网中基于联邦强化学习的编码缓存方法，其特征在于，所述步骤3具体包括以下步骤：

步骤3.1、在时隙t末端，系统根据观察到的全局状态s(t)，使用全局模型预测并实施实际编码缓存内容放置决策其中N_c(t)表示编码缓存的文件数目，c_n(t)＝1表示文件n被选择，c_n(t)＝0则表示文件n未被选择；

步骤3.2、对于雾接入点k根据观察到的本地状态s_k(t)，使用其本地模型预测并记录虚拟编码缓存内容放置决策其中表示编码缓存的文件数目，表示文件n被选择，则表示文件n未被选择。