[发明专利]一种雾无线接入网中基于联邦强化学习的协作缓存方法

权利要求书

1.一种雾无线接入网中基于联邦强化学习的协作缓存方法，其特征在于，包括以下步骤：

步骤1、根据全局内容流行度P_f(0)，初始化缓存节点的本地缓存内容状态s(0)，总的模型训练周期T和训练模型的权重参数θ；

步骤2、在第t个时隙，缓存节点n的状态空间s(t)＝[i₁,i₂,...,i_c,...,i_C],其中，i_c表示内容c在缓存节点n中的缓存索引，F表示内容库C 中内容的总个数；缓存节点n的动作空间a(t)∈{0,1}，其中，a(t)＝1表示在第t个时隙缓存节点中的内容需要被替换，a(t)＝0表示在第t个时隙缓存节点中的内容不需要被替换；

步骤3、缓存节点各自计算周期内的内容流行度p_nf(t)，收集用户的内容请求信息，并基于本地内容缓存状态，做出应答决策；

步骤4、基于步骤3缓存节点做出的应答决策，和周期内的内容流行度p_nf(t)，计算出缓存命中率h_n(t)和用户的内容请求延迟D_F-U(t)，D_F-F-U(t)和D_C-F-U(t)，D_F-U(t)表示用户直接从本地缓存节点获取的它的请求内容所产生的请求延迟，D_F-F-U(t)表示用户需要从邻近的缓存节点获取它的请求内容所产生的请求延迟，D_C-F-U(t)表示用户需要从云端服务器获取它的请求内容所产生的请求延迟；

步骤5、缓存节点更新本地缓存内容状态s(t)和训练模型参数θ，进入下一个时隙；

步骤6、一个训练周期结束后，对各个缓存节点的模型权重参数θ进行联合更新，进入下一个周期。

2.根据权利要求1所述的雾无线接入网中基于联邦强化学习的协作缓存方法，其特征在于，所述步骤2具体包括以下步骤：

步骤2.1、缓存节点n的状态空间s(t)是已经缓存内容的索引集，根据内容请求频率，状态空间中的内容索引被降序排列，可以减小低频率的内容索引出现在状态空间中的概率；

步骤2.2、内容库C中没有缓存在节点n中的内容组成一个集合

若a(t)＝1，将随机从集合中选取k个内容，替换掉在节点缓存中最后的k个内容；

若a(t)＝0，缓存节点n不需要进行缓存替代操作；

步骤2.3、在步骤2.2中的缓存替代操作之后，对缓存节点n中的内容索引进行降序更新，得到一个新的状态空间s(t+1)。

3.根据权利要求2所述的雾无线接入网中基于联邦强化学习的协作缓存方法，其特征在于，所述步骤3具体包括以下步骤：

步骤3.1、用户发出请求内容f，若内容f缓存在本地节点中，那么本地节点直接将内容f发送给用户，产生的内容请求延迟为d_n1，d_n1表示将内容从本地节点发送给用户所需要的时间；

步骤3.2、若本地节点没有缓存内容f，而邻近的缓存节点存储了内容f，那么用户将从邻近的缓存节点中去得到它的请求内容f，产生的内容请求延迟为d_n1+d_n2，d_n2表示两个相邻的节点之间传输内容所需要的时间；

步骤3.3、若本地节点和邻近的缓存节点都没有存储内容f，那么用户将从云端服务器去得到请求内容f，产生的内容请求延迟为d_n1+d_n3，d_n3表示从云端将内容发送到缓存节点需要的传输时间。