[发明专利]一种基于深度强化学习的D2D通信网络切片分配方法

说明书

本发明提供一种基于深度强化学习的D2D通信网络切片分配方法，包括以下步骤：S1：将通信业务根据业务类型进行分类，建立多业务切片和D2D切片资源分配模型；S2：根据Dueling DDQN算法构建切片资源分配的强化学习模型；S3：为Dueling DDQN算法中的智能体定义业务切片的当前状态s、下一时刻状态s′，当前动作a，以及由状态和动作构建系统的奖励r；S4：利用经验回放进行Dueling DDQN的学习，最后得到切片资源分配的最优解。本发明通过对多业务切片和D2D切片进行资源分配，并对应到不同uRLLC切片、mMTC切片、eMBB切片、D2D切片，结合网络切片技术和Dueling DDQN强化学习算法，构建基于深度强化学习的资源分配模型，提高切片资源分配的效率，满足各类业务的通信要求，并使体验质量最优。

技术领域

本发明涉及移动互联网通信技术领域，更具体地，涉及一种基于深度强化学习的D2D通信网络切片分配方法。

背景技术

互联网的普及，深刻地影响了人们的生产、生活和学习方式，网络已经成为支撑现代社会发展和技术进步的重要基础设施之一。5G时代的来临，为无线通信带来了众多优异的性能。5G将极大提升通信的传输速率支持海量的设备连接，提供超高可靠性、超低时延的卓越性能。5G无线网络支持不同垂直行业的多样化业务场景，如自动驾驶、智能家居、增强现实等，这些业务场景有着不同的通信需求。同样地，多设备的网络接入，为稀缺的频谱资源使用带来了困境。D2D通信利用相邻设备之间的直接链路进行通信，而无需基站的参与，减轻基站的负担。D2D提供了以设备为中心的新视野，将流量从传统的以网络为中心的实体卸载到D2D网络中，增加了系统的网络容量，提高系统的频谱利用率。

为了满足多样化服务和异构网络下的严格通信要求，网络切片技术是一个有效的解决方案。网络切片能够在同一物理网络基础设施上实现多个隔离且独立的虚拟逻辑网络，为通信业务创建定制化的虚拟网络，从而实现业务差异化并保证每种业务的服务等级协议。由于可以按需创建切片，并根据需求对切片进行修改或废止，因此，网络切片提供了动态的无线资源和网络管理的灵活性和适应性。

为了解决动态的需求感知资源分配问题，强化学习是有效的解决方案。强化学习是机器学习的一个分支，强化学习智能体通过观察环境状态转换和获取反馈(奖励)来学习如何在环境中执行最佳操作。基于DQN的深度强化学习在于环境的交互过程中，会过高地估计动作的Q值，估计的误差会随着动作的执行而传递并增加，最终导致智能体无法得到最优的策略。DuelingDDQN强化学习基于竞争的架构，解决了动作值的过估计问题。在复杂的通信场景下，如何利用基于强化学习算法来进行资源分配的决策，以此为多业务通信以及D2D通信提供优异的性能，是值得研究的问题。

公开日为2020年09月18日，公开号为CN111683381A的中国专利公开了一种基于深度强化学习(DQN)的端到端网络切片资源分配算法，从端到端的角度联合考虑接入侧和核心侧影响对资源进行动态合理分配。为训练得到合理的DQN网络，求解DQN中环境的反馈，将端到端系统接入率最优化问题解耦为接入侧和核心侧两部分，然后分别设计动态背包算法以及最大接入的链路映射算法求得最大端到端接入。该专利同样具有DQN的深度强化学习的问题，估计的误差会随着动作的执行而传递并增加，最终导致智能体无法得到最优的策略。

发明内容

本发明提供一种基于深度强化学习的D2D通信网络切片分配方法，有效地保证系统中各业务满足性能要求，为多业务以及D2D通信进行无线资源的分配，从而提供系统通信性能。

为解决上述技术问题，本发明的技术方案如下：

一种基于深度强化学习的D2D通信网络切片分配方法，包括以下步骤：

S1：将通信业务根据业务类型进行分类，建立多业务切片和D2D切片资源分配模型；

S2：根据Dueling DDQN算法构建切片资源分配的强化学习模型；