[发明专利]基于值函数近似的超密集异构网络小站编码协作缓存方法

说明书

本发明公开了基于值函数近似的超密集异构网络小站编码协作缓存方法。采用值函数近似的强化学习方法，将值函数表达为状态和动作的函数，以最大化平均累积小站直接服务的文件请求数目为优化目标，通过不断地与环境交互，适应环境的动态变化，挖掘出潜在的文件请求转移模式，得到值函数的近似式，进而得到与文件请求转移模式相匹配的协作缓存决策；宏基站对协作缓存决策进行编码，并将编码协作缓存结果传达给各小站。本发明通过强化学习挖掘到的真实网络中文件请求的转移模式来制定缓存决策，无需任何对数据先验分布的假设，更加适用于实际系统；且通过与环境实时交互，可追踪时变的文件流行度，作出相应的缓存策略，过程简单可行，不需解NP‑hard问题。

技术领域

本发明属于移动通信中的无线网络部署技术领域，特别涉及了一种超密集异构网络小站编码协作缓存方法。

背景技术

随着智能终端的普及和互联网业务的发展，为满足用户对于高数据速率和高服务质量的要求，超密集异构网络将成为第五代移动通信系统(5G)的关键技术之一，通过在宏基站覆盖范围内部署密集的小站，可有效提升网络边缘用户的通信质量，从而提高频谱效率和系统吞吐量。然而，由于小站通过无线回程链路连接到宏基站，密集部署的小站给无线回程链路造成巨大的压力，此时高负载的无线回程链路成为网络的瓶颈。超密集网络架构亟待与其他的网络架构或技术相融合来更好地服务用户，移动网络边缘化就是一种合适的选择。边缘存储是移动网络边缘化架构中一个重要的概念，即在小站缓存文件来减少高峰期的海量数据传输，可有效减轻系统回程链路负载，降低传输时延，提升用户体验。超密集异构网络中小站数目多、距离近，用户一般处在多个小站的覆盖范围内，如果小站为用户协作传输文件，则可以使小站有限的缓存空间得到更加充分地利用。因此超密集异构网络中的边缘缓存问题是值得深入研究的。

现有缓存技术往往是把缓存决策建模成一个优化问题。首先，往往认为文件流行度是不随时间变化的，实际网络中的文件流行度是时刻变化的，这种基于不变的文件流行度来求解优化问题的方法不能追踪文件流行度的不断变化，从而使得出的缓存决策并不能很好地适用于实际网络；其次，即使是把不变的文件流行度换成瞬时的文件流行度，文件流行度变换一次，优化问题就要重新运行一次，带来巨大的网络开销，况且建模的优化问题往往是NP-hard(Non-Polynomial hard)问题，求解非常困难；最后，由于缓存问题本身是根据网络中已经发生过的文件请求行为，作出缓存决策，为将要发生的文件请求行为做准备，基于传统解优化问题制定缓存决策的方法不能挖掘网络中文件请求的转移模式，从而使作出的缓存决策对将要发生的文件请求并不是最优的。

发明内容

为了解决上述背景技术提出的技术问题，本发明提供基于值函数近似的超密集异构网络小站编码协作缓存方法，采用值函数近似方法来挖掘文件请求的潜在转移模式，获得优于传统方法的协作缓存策略。

为了实现上述技术目的，本发明的技术方案为：

基于值函数近似的超密集异构网络小站编码协作缓存方法，将宏基站及其覆盖范围内的小站作为机器，宏基站负责决定每个时隙状态下小站要执行的动作并下达给各小站，各小站负责执行动作，所述状态包括本时隙的文件流行度和前一时隙做出的协作缓存决策，所述动作是指本时隙做出的为下一时隙文件请求服务协作缓存决策；采用值函数近似的强化学习方法，将值函数表达为状态和动作的函数，以最大化平均累积小站直接服务的文件请求数目为优化目标，通过不断地与环境交互，适应环境的动态变化，挖掘出潜在的文件请求转移模式，得到值函数的近似式，进而得到与文件请求转移模式相匹配的协作缓存决策；宏基站对协作缓存决策进行编码，并将编码协作缓存结果传达给各小站。

进一步地，包括以下步骤：

步骤1、采集网络信息，设置参数：