[发明专利]一种基于迁移学习的无人机内容缓存决策方法

说明书

本发明公开了一种基于迁移学习的无人机内容缓存决策的方法，无人机需要解决在自身缓存能力的约束下决策缓存内容，优化用户获取内容总时延的问题，考虑到网络状态动态性，选择使用强化学习算法解决，并且面对全新的学习任务，选择迁移先前完成相似模型训练的无人机的交互数据，加以利用再进行智能算法的训练。本发明的方法将迁移学习概念应用于解决不同区域的无人机的内容缓存决策问题，通过迁移前一个完成交互的无人机经验数据，尽可能减小自身收集交互数据所消耗的时间、计算资源，达到更快收敛强化学习算法、进而解决实际问题的目的，提高了无人机自身的内容决策效率。

技术领域

本发明属于无线通讯技术领域，具体涉及一种基于迁移学习的无人机内容缓存决策方法。

背景技术

无人机缓存技术为无人机部署存储资源，将其作为空中基站进行内容缓存任务，改善地面通信因建筑物等环境特征导致的传输性能损失，更快地完成用户请求内容的交付。在无人机辅助的蜂窝网络中，无人机能够快速部署、动态调整，用户可以通过地对空通信方式直接与其通信，当用户产生某些内容请求时，若无人机刚好缓存了用户所需内容，则能够在分担基站的流量压力的同时，向用户提供更快速的请求交付，大大提升用户的内容访问体验。

在无人机辅助的蜂窝网络中，无人机可以在覆盖范围内周期巡回，其服务的用户相对固定，而用户对内容的需求特征往往是有规律可循的，这就为无人机提前主动缓存内容、降低用户请求交付时延提供了可能。考虑到无人机自身受硬件条件限制，其作为缓存节点的存储容量是较为有限的，则如何在满足缓存能力约束的条件下，选取合适的存储内容是亟待解决的问题。

传统的缓存内容决策思路是依据Zipf定律，大致估计出内容的请求概率，让无人机存储流行度高的内容，作为系统的内容缓存决策。但是无人机本身具有的高动态性，以及覆盖范围内用户需求的实时变化，使得固定的缓存策略难以适应网络高动态性的特点，现有研究大多考虑采用人工智能算法，实时地分析计算用户及网络状态的变化，决策所缓存的内容，更精准地匹配用户需求，提升用户体验。

迁移学习与从头开始学习每个任务的传统智能算法不同，当具有较少的训练数据时，迁移学习尝试将来自一些先前相关任务的知识转移到目标任务，使其不必从头开始数据收集、更新过程，而是直接应用过去的学习经验来服务自身，达到减少时间资源消耗、更快速地解决新问题的目的。

目前，针对无人机智能缓存策略的研究主要有以下两种：

(1)基于已知位置的无人机的缓存决策问题(参考文献：T.Zhang,Z.Wang,Y.Liu,W.Xu and A.Nallanathan,Caching Placement and Resource Allocation for Cache-Enabling UAV NOMANetworks,in IEEE Transactions on Vehicular Technology,vol.69,no.11,pp.12897-12911,Nov.2020)，该方法考虑了在无人机辅助的蜂窝网络中，内容缓存阶段的缓存选择与内容交付阶段的无线电资源分配对网络性能所起的重要作用，无人机作为主体采用Q-学习方法，在总通信、存储容量约束的条件下优化覆盖范围内缓存内容选择及通信资源分配，达到最小化长期的内容交付总时延的目的。

(2)基于未知位置的无人机放置、缓存决策的联合优化问题(参考文献：Z.Wang,T.Zhang,Y.Liu and W.Xu,Deep Reinforcement Learning for Caching Placement andContent Delivery in UAV NOMA Networks,2020International Conference onWireless Communications and Signal Processing(WCSP),2020,pp.406-411)该方法考虑了在实际场景中具有动态位置、接收动态内容请求的无人机NOMA网络特点，使用深度确定性策略梯度(DDPG)智能算法给出无人机的所在位置及缓存内容的决策，最小化系统内用户获取内容的平均延迟。