[发明专利]基于深度强化学习的端到端网络切片资源分配方法

说明书

本发明针对混合业务多切片共享无线资源情况，提出了一种基于深度强化学习(DQN)的端到端网络切片资源分配方法，从端到端的角度联合考虑接入侧和核心侧影响对资源进行动态合理分配。为训练得到合理的DQN网络，求解DQN中环境的反馈，将端到端系统接入率最优化问题解耦为接入侧和核心侧两部分，然后分别设计动态背包算法以及最大接入的链路映射算法求得最大端到端接入。该方法不管是在静态环境还是在动态环境都能利用训练好的网络动态调整资源，使得系统接入率显著提升。

技术领域

本发明公开了一种基于深度强化学习的端到端网络切片资源分配方法，能够应用到5G网络中对含有多种业务的场景进行资源分配。该发明属于通信网络技术领域。

背景技术

5G网络将支持大量来自垂直行业的多样化业务场景，例如智能安防、高清视频、智能家居、自动驾驶和增强现实等，这些业务场景通常具有不同的通信需求。传统移动通信网络主要用来服务单一的移动宽带业务，无法适应未来5G多样化的业务场景。如果为每种业务场景都建设一个专有的物理网络必然会导致网络运维复杂、成本昂贵以及可扩展性差等问题。因此，为应对在一个物理网络上同时支持多种具有不同性能要求的业务场景，满足差异化服务对网络的不同需求，网络切片技术应运而生。

每个网络切片逻辑上都是一个独立的端到端网络，由一组网络功能及相应资源组成，针对特定的业务场景优化，提供端到端的按需定制服务。为了保证端到端正常通信，在接入侧必须进行无线资源的分配，在满足用户QoS前提下使得更多用户能够接入网络。传统的资源分配方法通常只考虑接入侧的性能进行分配。但是对于切片而言只有保证整个端到端的链路走通才算成功接入。因此对于5G网络切片中的资源分配必须联合考虑接入侧和核心侧的影响。

近几年来，深度强化学习迎来了研究的高潮，比如打败了人类为其高手的阿尔法狗。深度强化学习由强化学习和深度神经网络组成，该领域的研究着重于解决一系列在过去无法由机器解决的决策制定问题。深度强化学习在健康、机器人、智能电网、金融等领域，提出了新的应用。那么对于无线网络而言，能否利用它进行一些资源分配的决策呢？这是一个值得思考的问题。

因此，本发明提出了基于深度强化学习实现端到端网络切片资源分配的框架。综合考虑接入侧和核心侧影响，智能动态协调资源分配，从而提高系统容量。

发明内容

技术问题:本发明的目的是针对5G多业务下的网络切片场景，提出一种基于深度强化学习的端到端网络切片资源分配方法，从端到端的角度协调各个切片资源分配。保证整个系统端到端接入用户数量。

技术方案：本发明提出了一种基于深度强化学习的端到端网络切片资源分配方法，该方法包括如下步骤：

1.端到端切片系统模型及无线资源初始化

A.端到端模型之接入网

整个端到端模型由接入侧和核心侧两部分组成，接入侧主要为用户选择基站，核心侧则进行用户服务链的映射，从用户到基站再到核心侧的链路整个构成一条端到端通信链路，如图1所示。

在接入侧考虑上行链路蜂窝网络，假设网络具有完善的同步系统和信道估计，在网络中，所有基站统一用N＝{1,2,....,|N|}，切片表示为M＝{1,2,....,|M|}，所有用户表示为U＝{1,2,....|U|}，切片m下的所有用户表示为U_m，切片m下的具体一个用户表示为u_m，基站的传输功率表示为P_n，系统总带宽为B，被分为L份，则频率域每个RB的带宽为B_l，时间域分为调度帧，每个调度帧由T个子帧组成，每个子帧的长度为Δ_t，则一个最小的资源块表示为考虑每个用户选择性的接入一个基站。每个用户属于一种类型的切片，本发明考虑速率约束型和时延约束型两种类型的切片。对于速率约束型的切片，最低速率表示为对于延迟约束型的切片，最大延迟表示为