[发明专利]一种半分布式联邦学习协同优化缓存部署系统及方法

说明书

一种半分布式联邦学习协同优化缓存部署系统及方法，系统为由智能网关层SG和密集部署的无线接入点层AP构成的边缘缓存网络架构；无线接入点层AP包括依次设置的用户请求收集模块、请求特征提取模块、协同学习模块、本地模型训练模块、缓存模块；本申请由超密集部署的固定接入点AP和智能网关SG形成的一种边缘缓存架构，为多个固定或移动性低的用户提供服务。在提出的架构中，我们认为SG作为中央协调器可以提供全局服务，例如缓存整个区域的热门内容，监视本地AP中用户生成的所有请求，集中调度存储资源并负责执行缓存放置决策。

技术领域

本发明涉及数据处理的技术领域，尤其涉及一种半分布式联邦学习协同优化缓存部署系统及方法。

背景技术

由于近年来智能移动设备的普及以及多种类型的应用程序配合使用的增长，网络边缘经历了文本、图像、视频、音频和3D模型等多媒体数据的爆炸式增长，给前传链路带来了巨大的压力。为了应对海量内容分发和多媒体资源需求的增长，支持大规模内容交付，仅提高网络容量是不够的。作为解决上述挑战的新兴技术，边缘缓存被视为缓解前所未有的回程压力和提高用户QoE的突出范例，通过在网络边缘预取和存储部分热门多媒体内容，以实现低延迟、高速率的内容交付服务。考虑到无线电接入的高渗透率和大规模，具有不同无线接入技术(RAT)、覆盖区域和回程能力的各种接入点(例如支持缓存的小型蜂窝基站或者无线接入点)成为边缘缓存的理想载体。大的部署密度使AP能够提供大覆盖区域和高质量的无线链路，而边缘缓存通过使内容更接近用户来缓解前传流量瓶颈并减少请求服务延迟。因此，可以控制高速前传链路的系统成本，提高用户体验。

然而，这些接入点的存储大小总是有限的，没办法满足庞大的网络规模。因此，对启动边缘缓存的接入点进行优化缓存部署，实现缓存利用率最大化变得至关重要。但是由于以下原因，这是一个相当具有挑战性的问题：现实世界中，网络边缘部署了相当数量的接入点AP，处于不同地理位置的AP具有不同的特性并扮演不同的角色。因此针对所有AP的全局唯一缓存策略似乎过于简单，无法优化AP缓存资源的利用率。并且由于用户请求的随机性，AP覆盖范围下内容受欢迎程度在时空维度上呈现动态变化。为了应对这一挑战，最近的许多工作提出了基于学习的方法，这些方法集中收集用户的数据进行训练，但它们带来了一个重大问题：用户可能不信任中央服务器，因此对上传他们的私人数据犹豫不决。并且大量不同平台、不同来源的文本、图像、视频等多媒体信息虽然共同刻画相同或相关的主题内容，却呈现复杂，多层级的语义关联关系，传统的分析处理方法难以进行有效的利用和学习。

即使不考虑隐私问题，为了实现大规模分布式数据的联合训练，传统的联邦学习FL框架隐含地假设一个模型可以同时拟合所有边缘端的数据生成分布，但现实情况并非如此。假设多个AP正在尝试联合训练一个内容流行度预测模型，以预测未来流行度高的内容文件。但现实中由于用户的请求随机行为导致不同的AP会对某些内容的流行度有不同的看法，一个单一的模型永远无法同时准确地预测某个内容文件在所有AP的流行度趋势。此外AP覆盖范围下用户请求的统计数据可能会因不同AP的地理位置因素、不同时间段的偏好等而有很大差异。例如，处于繁华地段的AP通常会显示与偏僻地段AP不同的用户请求数量统计数据。

在所有上述情况下，普通的联邦学习FL框架，其中所有AP端都被平等对待并且只学习一个单一的全局模型，无法实现这一目标。

发明内容

为解决背景技术中的问题，为此，本发明提出了一种半分布式联邦学习协同优化缓存部署系统及方法，具体方案如下：