[发明专利]一种基于强化学习恢复电力通信网络中业务的方法及系统

说明书

本发明公开了一种基于强化学习恢复电力通信网络中业务的方法及系统，属于通信技术领域。本发明方法包括：获取电力通信网络原始网络状态，读取网络故障信息，根据所述网络故障信息，获取网络业务故障信息；根据故障后的网络状态，初始化学习环境；根据当前拟恢复的受损业务的参数，初始化强化学习中与学习环境交互的智能体；确定当前网络状态下拟恢复的受损业务的有效动作，根据贪心法则和行为准则表在有效动作中选取一个动作实施后，更新学习环境；确定是否存在未受损业务被抢占；判断是否达到预设学习次数。本发明可以在短时间内完成电力通信网络中的故障恢复路径的选择以及业务切换方案。

技术领域

本发明涉及通信技术领域，并且更具体地，涉及一种基于强化学习恢复电力通信网络中业务的方法及系统。

背景技术

随着科学技术的不断进步，更高数据速率的数据通信已经成为当前和未来技术的需要。任何网络故障都可能导致数据的丢失，进而导致各方面的巨大损失，甚至是全网瘫痪。许多网络组件的故障可能导致网络的单点故障，如交换机，光纤链路的断开等。网络生存性是网络克服失败的能力，在网络从这些故障恢复中起着非常关键的作用。在网络中一个或多个网络元件发生故障的情况下，期望当前网络能够实现近瞬时的恢复，从而提供高可靠性。这就需要建立网络恢复计划，以便在一个或多个网络元件(例如链路或节点)发生故障时，网络可以进行调整，立即寻求新的路由，实行重组或者切换到新的备用安排，从而避免对网络流量的破坏以继续进行完成给定的通信任务。因此，开发网络恢复模型以解决突发故障，从而提高网络的效率和可靠性是必不可少的。

当前很多的网络重组技术是将重组问题描述成一个整数规划问题，然后采用整数规划的优化算法寻找最优替代路径。这种方法着眼于寻找全局最优结果，但是耗时很长，且优化计算的中间过程中无法输出可行路径配置方案，极大地影响了实际工程中的算法可用性。本方法将强化学习算法用于重构路径的选择中，通过利用强化学习的渐进式优化特性以及一定的自学习能力，实现短时间内近优结果的输出；从而使得在总计算时间大幅缩减的同时，也能够在中间过程输出经过一定优化的可行路径配置方案。

发明内容

本发明的目的在于通过利用强化学习的渐进式优化特性以及一定的自学习能力，克服传统整数规划方法的缺陷，以实现短时间内近优结果的输出，并保证在中间过程也能够输出经过一定优化的可行路径配置方案，提出了一种基于强化学习恢复电力通信网络中业务的方法，本发明方法包括：

获取电力通信网络原始网络状态，读取网络故障信息，根据所述网络故障信息，获取网络业务故障信息；

在电力通信网络实际物理约束及业务约束条件下，根据故障后的网络状态，初始化学习环境，同时初始化行为准则表、折扣因子、贪心法则参数；

1.1根据当前拟恢复的受损业务的参数，初始化强化学习中与学习环境交互的智能体；

1.2确定当前网络状态下拟恢复的受损业务的有效动作，所述的有效动作包括直接停止学习、在电力通信网络的空闲资源直接分配业务路径、抢占未受损业务资源，根据贪心法则和行为准则表在有效动作中选取一个动作实施后，更新学习环境；

1.3当确定存在未受损业务被抢占时，被抢占的业务作为特殊的“拟恢复的受损业务”，更新智能体，返回到1.2，当确定不存在未受损业务被抢占时，根据决策收益计算奖励值，更新行为准则表；其中，决策收益的影响因素和计算方式由网络管理者确定，体现业务恢复优化的目标；

1.4判断是否达到预设学习次数，若达到，则结束并将预设学习次数业务恢复方案作为最终方案输出，否则返回1.1。

可选的，网络状态包括：电力通信网络拓扑结构和电力通信网络业务分布。

可选的，网络业务故障信息包括：故障节点信息、故障链路信息和受损业务信息。

可选的，初始化学习环境中确定每条链路上的剩余带宽。