[发明专利]雾无线接入网中基于联邦强化学习的智能编码缓存方法

说明书

本发明公开了一种雾无线接入网中基于联邦强化学习的智能编码缓存方法，该方法包括：1、云中心服务器构建全局预测模型并初始化，在雾接入点布置多个分布式学习代理并初始化其本地预测模型；2、系统观察全局状态；3、每个雾接入点观察本地状态；4、系统根据所实施的内容放置决策，使用多播编码传输方式满足各个网络边缘节点接收的请求；5、每个雾接入点根据本地请求情况计算理论时延和虚拟反馈，并存储本地学习经验；6、每个雾接入点使用本地学习记经验独立进行本地模型训练；7、每个雾接入点每隔若干时隙上传本地模型至云中心服务器进行全局模型更新。本发明可以减少系统前传负载，降低传输时延，保护用户隐私。

技术领域

本发明属于移动通信系统中边缘网络的智能缓存领域，尤其涉及一种雾无线接入网中基于联邦强化学习的智能编码缓存方法。

背景技术

随着智能设备的广泛普及和移动应用的迅速发展，移动通信网络将承受越来越庞大的流量负载。为了处理这些激增的数据流量，雾无线接入网作为一种新型网络架构被提出，其中雾无线接入点(Fog Access Point,F-AP)布置在靠近用户的网络边缘并运用其边缘存储能力和边缘计算能力来减轻云中心服务器的流量压力，提升用户体验。同时，编码缓存作为一种新的缓存方式，将本地缓存和多播传输有效结合，能更加充分利用边缘设备的有限存储空间。

然而目前对非一致流行度编码缓存方法的研究大多集中于固定内容放置策略的理论性能的上下界分析，导致非最优内容放置策略无法充分利用编码缓存的潜力来降低前传负载。此外，目前非一致流行度编码缓存方法假设内容流行度固定的理想条件，忽略了内容流行度随时间变化的这一事实，导致其前传负载和时延等性能在实际中无法达到理想状态。因此，需要一种时变流行度情况下的编码缓存方法降低内容传输时延的同时提高稳定性，为移动用户提供更高质量、更可靠的通信服务。

发明内容

本发明目的在于提供一种雾无线接入网中基于联邦强化学习的智能编码缓存方法,以解决减少前传负载，降低请求时延，保护用户隐私的技术问题。

为解决上述技术问题，本发明的具体技术方案如下：

一种雾无线接入网中基于联邦强化学习的编码缓存方法，包括以下步骤：

步骤1、在云中心服务器构建全局模型θ_G并初始化，在每个雾接入点处布置学习代理并初始化其本地模型θ_k；

步骤2、在时隙t末端，系统观察全局状态s(t)，每个雾接入点观察其本地状态s_k(t)；

步骤3、系统根据观察到的全局状态s(t)，使用全局模型预测并实施实际编码缓存内容放置决策a(t)，同时每个雾接入点根据其观察到的本地状态s_k(t)预测并记录虚拟内容放置决策a_k(t)；

步骤4、时隙t+1内，系统根据实施的内容放置决策a(t)，使用多播编码传输方式满足各个雾接入点接收的请求；

步骤5、在时隙t+1末端，本地状态变为s_k(t+1)，每个雾接入点统计时隙t+1内其服务用户的内容请求情况，并根据其虚拟放置决策a_k(t)计算理论时延和虚拟反馈r_k(t)，存储本地学习经验[s_k(t)，a_k(t)，r_k(t)，s_k(t+1)]^T；

步骤6、每个雾接入点随机抽样其本地学习经验进行训练，实现本地模型更新；

步骤7、每隔T_A个时隙，所有雾接入点将其本地模型上传至云中心服务器整合，并下载整合后的全局模型用于其替换本地模型；

步骤8、重复执行步骤2至步骤7，直至全局模型在连续时隙的预测性能波动小于5％。