[发明专利]一种基于强化学习恢复电力通信网络中业务的方法及系统

权利要求书

1.一种基于强化学习恢复电力通信网络中业务的方法，所述的方法包括：

获取电力通信网络原始网络状态，读取网络故障信息，根据所述网络故障信息，获取网络业务故障信息；

在电力通信网络实际物理约束及业务约束条件下，根据故障后的网络状态，初始化学习环境，同时初始化行为准则表、折扣因子、贪心法则参数；

1.1根据当前拟恢复的受损业务的参数，初始化强化学习中与学习环境交互的智能体；

1.2确定当前网络状态下拟恢复的受损业务的有效动作，所述的有效动作包括直接停止学习、在电力通信网络的空闲资源直接分配业务路径、抢占未受损业务资源，根据贪心法则和行为准则表在有效动作中选取一个动作实施后，更新学习环境；

1.3当确定存在未受损业务被抢占时，被抢占的业务作为特殊的“拟恢复的受损业务”，更新智能体，返回到1.2，当确定不存在未受损业务被抢占时，根据决策收益计算奖励值，更新行为准则表；

1.4判断是否达到预设学习次数，若达到，则结束并将预设学习次数业务恢复方案作为最终方案输出，否则返回1.1。

2.根据权利要求1所述的方法，所述的网络状态包括：电力通信网络拓扑结构和电力通信网络业务分布。

3.根据权利要求1所述的方法，所述的网络业务故障信息包括：故障节点信息、故障链路信息和受损业务信息。

4.根据权利要求1所述的方法，所述的初始化学习环境中确定每条链路上的剩余带宽。

5.根据权利要求1所述的方法，所述的未受损业务在当前学习循环中最多只能被抢占一次。

6.根据权利要求1所述的方法，所述的空闲资源直接分配业务路径和抢占未受损业务资源动作后，获取受损业务的新业务路径，所述的新业务路径在受损业务路径预设范围内。

7.一种基于强化学习恢复电力通信网络中业务的系统，所述的系统包括：

采集模块，获取电力通信网络原始网络状态，读取网络故障信息，根据所述网络故障信息，获取网络业务故障信息；

初始化模块，在电力通信网络实际物理约束及业务约束条件下，根据故障后的网络状态，初始化学习环境，同时初始化行为准则表、折扣因子、贪心法则参数；

学习模块，根据当前拟恢复的受损业务的参数，初始化强化学习中与学习环境交互的智能体；

更新模块，确定当前网络状态下拟恢复的受损业务的有效动作，所述的有效动作包括直接停止学习、在电力通信网络的空闲资源直接分配业务路径、抢占未受损业务资源，根据贪心法则和行为准则表在有效动作中选取一个动作实施后，更新学习环境；

第一判断模块，当确定存在未受损业务被抢占时，被抢占的业务作为特殊的“拟恢复的受损业务”，更新智能体，当确定不存在未受损业务被抢占时，根据决策收益计算奖励值，更新行为准则表；其中，决策收益的影响因素和计算方式由网络管理者确定，体现业务恢复优化的目标；

第二判断模块，判断是否达到预设学习次数，若达到，则结束并将预设学习次数业务恢复方案作为最终方案输出。

8.根据权利要求7所述的系统，所述的网络状态包括：电力通信网络拓扑结构和电力通信网络业务分布。

9.根据权利要求7所述的系统，所述的网络业务故障信息包括：故障节点信息、故障链路信息和受损业务信息。

10.根据权利要求7所述的系统，所述的初始化学习环境中确定每条链路上的剩余带宽。

11.根据权利要求7所述的系统，所述的未受损业务在当前学习循环中最多只能被抢占一次。

12.根据权利要求7所述的系统，所述的空闲资源直接分配业务路径和抢占未受损业务资源动作后，获取受损业务的新业务路径，所述的新业务路径在受损业务路径预设范围内。