[发明专利]移动边缘网络中基于FDQL的多维资源协同优化方法

说明书

现有技术中，移动边缘网络呈现出智能化、多元化、综合化的趋势，使得多维资源最优分配面临诸多挑战。为了提升多维资源优化的精确性，本发明提出一种移动边缘网络中基于FDQL的多维资源协同优化方法。本方法以最小化MOS为优化目标来构建多维资源分配模型，并设计一种双层的决策方案。首先，底层的基站利用双深度Q学习DDQL进行局部模型训练以获得短周期内最优决策；然后，上层的边缘节点利用联邦深度学习FDQL进行全局模型训练以降低长周期内分布式决策的偏差。实验结果表明，所提算法在降低内容服务时延和提高用户体验质量方面都优于其它方法。

技术领域

本发明属于通信技术领域，具体是一种移动边缘网络中基于联邦深度强化学习FDQL的多维资源协同优化方法。

背景技术

由爱立信发布的移动市场预测报告可知，到2024年5G用户将达到19亿^[1]，急剧增长的数据流量使得有限的频谱资源、计算资源和缓存资源与日益增长的资源需求之间的矛盾日渐加剧。同时，物联网(IoT，Intemet of Things)^[2]、车载网(IoV，Intemet ofVehicles)^[3]的广泛应用增加了网络环境的复杂性。目前，网络通信面临着多元化、综合化、智能化等诸多挑战，加剧了资源管理的难度。为此运营商将部分业务处理和资源调度功能部署到云平台以实现服务性能提升^[4]。

但是，面对未来100％的全球覆盖率、超大规模的终端设备接入、低于毫秒时延的海量数据传输，依托云计算的传统处理平台面临着巨大的挑战。特别是智能驾驶、虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)、超高视频流等新兴业务愈加依赖于高可靠、低时延的实时数据处理能力，而远离用户和终端设备的云中心无法及时处理巨大的应用程序，并且网络阻塞和传输延迟也严重影响了用户体验。将网络资源边缘化和本地化的移动边缘计算(Mobile Edge Computing，MEC)技术^[5-9]是解决上述问题的关键技术之一。

MEC技术将具有较强计算能力的服务器部署至靠近用户的边缘节点和宏基站以增加本地计算资源；同时配置较大的缓存能力，提升Web浏览、多媒体和社交网络等新型数据服务质量。计算和存储资源下沉到网络边缘，可显著缓解带宽压力、减轻回程链路负担及降低服务延迟，从而弥补云中心服务时延过长的缺点。大规模移动网络密集部署MEC服务器虽可为用户提供超低时延、高带宽的服务解决方案，但激增的用户服务请求依然存在资源使用不均衡的问题，因此如何在满足用户体验质量(Quality of Experience，QoE)的前提下优化多维资源分配方案成为MEC亟待解决的问题之一。

传统的遗传算法、粒子群算法、博弈理论和图论着色算法等可以用来解决MEC的资源优化问题。文献[10]提出了基于遗传算法的两阶段启发式优化算法，解耦计算卸载和资源分配的联合优化问题，并通过迭代更新问题的解来获得能耗最小的分配策略。针对密集小区中基站的多址特性和资源受限问题，文献[11]将计算卸载决策及频谱、功率和计算资源分配的联合优化问题建模为NP-hard的混合整数非线性规划问题，并利用粒子群算法(Particle Swarm Optimization，PSO)获得系统开销低的计算卸载和资源调度方案。文献[12]根据Stackelberg博弈理论建立了一种高效的网络资源优化策略，实现了低延迟、高可靠的视频服务，缓解了传输性能和QoE之间的冲突。文献[13]提出了基于图论着色理论的网络资源共享方案，该方案以系统资源开销为优化目标，实现了高效的V2X协同缓存与计算、通信资源分配，减少了多媒体服务时延。现今MEC网络的大数据、动态化、多目标等新特征使得上述传统方法无法充分挖掘网络信息生成最优的资源分配决策。