[发明专利]OTN网络资源优化方法、装置、计算机设备和介质

说明书

本公开提供一种OTN网络资源优化方法，根据动作策略确定当前业务建立状态下的待建业务，创建待建业务，并计算当前业务建立状态下的及时奖励，进入下一个业务建立状态，直到一个回合结束，根据各个业务建立状态下的及时奖励计算并更新各个业务建立状态下的优化目标策略参数；迭代预设次数回合，以计算并更新各业务建立状态下的优化目标策略参数；根据预设次数的回合中各业务建立状态下的优化目标策略参数，分别确定每个业务建立状态下的最优优化目标策略参数；根据各业务建立状态下的最优优化目标策略参数更新动作策略。本公开得到的动作策略收敛性好、严谨性和可靠性高，通过获得优化的动作策略实现对OTN网络资源的全局优化。

技术领域

本公开涉及自动控制技术领域，具体涉及一种OTN网络资源优化方法、装置、计算机设备和计算机可读介质。

背景技术

随着人工智能技术的发展，强化学习技术应用越来越得到各领域和行业的广泛重视。强化学习(Reinforcement Learning)，又称再励学习、评价学习，是一种重要的机器学习方法，在智能控制机器人及网络分析预测等领域有许多应用。在连接主义机器学习流派中，把学习算法分为三种类型，即非监督学习(unsupervised learning)、监督学习(supervised leaning)和强化学习。

强化学习是智能体(Agent)以“试错”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏，强化学习不同于连接主义学习中的监督学习，主要表现在强化信号上，强化学习中由环境提供的强化信号是对产生动作的好坏作一种评价(通常为标量信号)，而不是告诉强化学习系统(Reinforcement LearningSystem，RLS)如何去产生正确的动作。由于外部环境提供的信息很少，RLS必须靠自身的经历进行学习，通过这种方式，RLS在行动-评价的环境中获得知识，改进行动方案以适应环境。

近年来，随着强化学习技术的应用与推广，如何将该项技术的优势应用到OTN(Optical Transport Network，光传送网络)网络智能化管控与运维领域，特别是强化学习在OTN网络资源优化的应用，得到了OTN领域专家的广泛关注。

基于SDON(Software Defined Optical Network,软件定义光网络)架构的全网资源优化(Global Co-current Optimization，GCO)方案如图1所示，GCO的主要目的是，在OTN网络资源分配过程中，对OTN网络业务开通进行规划或者批量创建时，需要在避免各业务路由计算与资源分配受阻的前提下，要求OTN网络每条业务通过计算得到的路由和资源占用总和，最大程度地满足用户(网络服务运营商)对网络业务整体上的既定资源分配优化目标。通过全网资源优化技术，可以最大程度地降低用户的运维成本CAPEX(资本性支出)/OPEX(运营成本)、提高运维收益、优化传输性能和质量，这和用户网络运营的经济效益直接相关，因此该技术得到了用户的高度重视，如何实现OTN网络资源优化，意义重大。

发明内容

本公开针对现有技术中存在的上述不足，提供一种OTN网络资源优化方法、装置、计算机设备和计算机可读介质。

第一方面，本公开实施例提供一种OTN网络资源优化方法，包括：

根据动作策略确定当前业务建立状态下的待建业务，创建所述待建业务，并计算当前业务建立状态下的及时奖励，进入下一个业务建立状态，直到一个回合结束，根据各个业务建立状态下的及时奖励计算并更新各个业务建立状态下的优化目标策略参数；

迭代预设次数回合，以计算并更新各业务建立状态下的优化目标策略参数；

根据所述预设次数回合中各业务建立状态下的优化目标策略参数，分别确定每个业务建立状态下的最优优化目标策略参数；

根据各业务建立状态下的最优优化目标策略参数更新所述动作策略。