[发明专利]一种基于深度强化学习的机动通信网智能规划方法

说明书

本发明公开一种基于深度强化学习的机动通信网智能规划方法及装置，所述方法包括以下步骤：1、资源要素预处理，对机动通信网网络的保障节点、被保障用户、架设地域等资源要素进行预处理；2、规划规则预处理，对机动通信网网络的规划规则进行预处理；3、训练样本生成，对预处理结果进行随机蒙特卡洛式搜索演算，生成训练样本；4、模型训练，基于递归神经网络，使用训练样本对网络规划模型进行训练；5、模型生成，构造联合损失函数，依照联合损失函数指示，重复对样本进行搜索和训练，生成机动通讯网网络规划模型。基于深度强化学习的机动通信网智能规划方法及装置，有效解决了当前机动通信网网络规划大量依赖人工操作、规划时间超出任务要求、对突发任务和陌生环境适应性差、资源利用率不高等问题，提高了机动通信网网络规划总体效率。

技术领域

本发明涉及信息技术领域，特别涉及一种机动通信网网络智能规划方法。

背景技术

机动通信网通常指特殊领域保障大规模特殊任务所使用的一种机动通信网络，通常由固定光纤网络、微波网络、卫星网络、升空中继网络、短波超短波电台网络等多种子网多种设备组成的综合机动网络，其最小单位为单个通信保障平台或设备，视为机动通信网网络中的一个保障节点。机动通信网被保障人通常在数百人及以上，架设需求随机性较强，时间较为紧张，规划时间通常在24小时之内或更短。

网络规划，是指网络规划人员或技术保障人员充分利用现有的系统设备，平衡现实需求和矛盾障碍，为保障当前任务完成进行的针对机动通信网网络架设的筹划和组织工作。本专利主要指根据机动通信网网络支持保障的任务人员及分组、任务供给的各类设备、连接关系、地理环境，为机动通信网各网络系统设备选址，设计网络架构，以支撑设备架设和部署。

由于机动通信网通常用于在难以预测的时间和地点保障各类突发的任务，因此其具有网络规划需求差异大、内容复杂、设备条件受限、时间要求紧迫等特点。当前，机动通信网络规划通常使用大量人工结合固定算法系统进行规划，其中的人工规划需要专业规划人员在从业过程中累积大量经验才有可能胜任该工作，并且需要的人员较多，具有规划时间长、数据交互频繁等缺点；机动通信网网络规划的固定算法系统能够在一定程度上辅助规划人员进行规划工作，但使用固定算法的规划系统无法灵活适用于所有可能展开机动通信网的具体场景，不经过底层修改无法应对不同的地理环境和设备限制等情况，且由于这类系统在设计上偏重于网络设计，当网络规模增加，约束条件增多之后难以得出较为直观准确的规划结果，只能为规划人员的提供有限的辅助支持，影响了任务保障的效果。

发明内容

本发明的目的在于克服现有技术的缺陷，针对机动通信网网络规划条件复杂、时间紧急、地点不定、设备条件受限等现实问题，实现了一种基于深度强化学习的机动通讯网智能规划方法。

为实现上述目的，本发明采用了如下技术方案：

一种基于深度强化学习的机动通讯网智能规划方法，所述方法包括如下步骤：

S1、资源要素预处理，对机动通信网的架设地域、保障节点、被保障用户进行抽象和映射，建立机动通信网资源要素的仿真模型；

S1.1、对机动通信网网络的架设地域进行预处理；

S1.2、对机动通信网网络的保障节点进行预处理；

S1.3、对机动通信网网络的被保障用户进行预处理。

S2、规划规则预处理，对机动通信网的保障关系、规划状态进行抽象和映射，融合步骤S1的资源要素仿真模型，建立机动通信网规划的整体仿真模型；

S2.1、对机动通信网网络的连接关系进行预处理；

S2.2、对机动通信网网络的规划状态进行预处理。

S3、训练样本生成，按照步骤S2的整体仿真模型建立网络规划仿真，并采用基于上限置信区间算法(UCT)的蒙特卡洛树搜索方法运行模拟，产生训练样本并形成可供深度强化学习使用的训练样本集；