[发明专利]密集场景下面向用户优先级的基站协同缓存方法

权利要求书

1.在密集场景下面向用户优先级的基站协同缓存方法，其特征在于，包括如下：

(1)设基站包括一个宏基站和N个微基站，每个基站缓存器的容量大小为定值，假设为C，对基站缓存器的内容进行随机初始化，并由每个微基站中的一个用户A向为该用户提供服务的微基站发送内容请求，每个用户A向基站发送的请求内容服从zipf分布，且每个用户具有各自的优先级，N＝1；

(2)为该用户A提供服务的微基站根据用户的请求，检索本地的微基站缓存器中是否已缓存了与用户请求相匹配的内容：

若有，则本地微基站向用户A返回用户所请求的内容，不进行基站缓存器的更新；

若没有，则为用户A提供服务的微基站将该用户的请求内容信息发送到宏基站，执行(3)；

(3)宏基站根据用户A的请求内容信息检索其他微基站和宏基站的缓存器中是否已缓存了与该用户的请求相匹配的内容：

若无，则宏基站从远端服务器获取用户A的请求内容后，执行(4)；

若有，则直接执行(4)；

(4)宏基站根据用户A的请求内容信息和基站缓存器中的信息，利用基站协同缓存的深度强化学习方法，将基站缓存器中的内容进行更新；

(4a)根据所有用户的请求内容信息和基站缓存器信息，建立基站协同缓存的深度强化学习模型，其实现如下：

(4a1)设基站协同缓存的深度强化学习模型包括：环境模型模块和价值网络模块；

(4a2)根据所有用户的请求内容信息、基站缓存器中的信息和基站协同缓存的优化目标，确定环境模型模块中的状态转移单元、动作空间单元和奖励函数单元，其实现如下：

(4a21)状态转移单元根据用户的请求内容信息特征、基站缓存器中的信息特征和价值网络模块输出的动作，对下一时刻基站缓存器中的信息特征和用户的请求内容信息特征进行状态转移；

所述用户的请求内容信息特征，是指在每一个微基站中，用户请求内容的短期特征、中期特征、长期特征和发送该请求内容的用户优先级特征，其中：内容的短期特征，表示在微基站中该内容在最近的短期时间段内一共被请求的次数；内容的中期特征，表示在微基站中该内容在最近的中期时间段内一共被请求的次数；内容的长期特征，表示在微基站中该内容在最近的长期时间段内一共被请求的次数；

所述基站缓存器中的信息特征，是指每一个缓存内容在每一个微基站中，被请求的短期特征、中期特征和长期特征；

(4a22)动作空间单元根据用户的请求内容信息特征和基站缓存器中的信息特征确定可供宏基站选择的动作空间；

(4a23)奖励函数单元根据基站协同缓存的优化目标确定奖励函数，该优化目标包括：优先级越高的用户请求的内容在基站缓存器中的命中率越大；所有用户的请求内容在基站缓存器中的命中率整体要大，且用户请求内容在基站缓存器中命中率的大小排序为：本地微基站临近微基站宏基站；

(4a3)由多层神经网络级联组成价值网络模块，该价值网络模块的输入层神经元个数由环境模型模块的状态信息特征决定，输出层的神经元个数由环境模型模块的动作空间维度决定；

(4b)利用深度强化学习模型进行离线训练和学习，得到学习好的基站协同缓存的深度强化学习模型，其实现如下：

(4b1)在环境模型模块所提供的动作空间中，价值网络模块根据用户的请求内容信息和基站缓存器中的信息进行状态抽象，得到当前状态下的最优缓存动作，并将所选择的最优缓存动作反馈给环境模型模块；

(4b2)环境模型模块根据用户的请求内容信息特征、基站缓存器中的信息特征和价值网络模块反馈的最优缓存动作来进行状态转移，得到下一时刻用户的请求内容信息特征和基站缓存器中的信息特征，再根据奖励函数单元计算得出奖励值，将奖励值和改变后的状态信息反馈给价值网络；

(4b3)价值网络模块根据环境模型模块反馈的奖励值和状态转移信息，进行价值网络的训练和更新；

(4b4)重复(4b1)-(4b3)，直到基站协同缓存的深度强化学习模型达到收敛状态；

(4c)利用学习好的深度强化学习模型在宏基站处进行在线的基站协同缓存决策，其实现如下：

(4c1)根据实际的基站协同缓存过程，将用户的请求内容信息和基站缓存器中的信息输入给价值网络模块，在环境模型模块所提供的动作空间中，价值网络模块根据用户的请求内容信息和基站缓存器中的信息进行状态抽象，得到当前状态下的最优缓存动作；

(4c2)环境模型模块执行最优缓存动作，更新基站缓存器中的内容，等待下一时刻用户请求内容的到来完成状态转移，得到下一时刻用户的请求内容信息特征和基站缓存器中的信息特征，再根据奖励函数单元计算得出奖励值，将奖励值和改变后的状态信息反馈给价值网络模块；

(4c3)价值网络模块根据环境模型模块反馈的奖励值和状态转移信息，进行价值网络的训练和更新；

(4c4)重复(4c1)-(4c3)，直到在线的基站协同缓存过程完成；

(5)宏基站从更新后的基站缓存器中检索用户A的请求内容在基站缓存器中的位置，宏基站向该位置所在的基站发送命令，让该基站将用户A的请求内容发送给为用户A提供服务的本地微基站，并由本地微基站将请求内容发送给用户A。