[发明专利]一种基于深度强化学习的复杂网络局部破坏控制方法

权利要求书

1.基于深度强化学习的复杂网络局部破坏控制方法，其特征在于：它包含以下步骤：

第一步：复杂网络局部破坏状态特征描述：根据破坏信息建立复杂网络“节点-单元”集群的维修状态0-1矩阵。

第二步：复杂网络连通状态特征描述：考虑维修状态矩阵与邻接矩阵的映射关系，基于初始的集群维修状态生成复杂网络邻接矩阵。

第三步：基于神经网络的局部破坏控制策略预测：设计一个神经网络预测“节点-单元”集群的先验维修状态转移概率和先验局部破坏控制策略价值。

第四步：基于蒙特卡洛树的局部破坏控制策略搜索：构建局部破坏控制策略迭代体系，遍历局部破坏控制策略解空间，得到改进的局部破坏控制策略，并据此选择当前时刻全局最佳维修动作。

第五步：检验复杂网络恢复程度：基于集群维修状态的变化更新复杂网络邻接矩阵，然后基于更新的复杂网络集群维修状态和邻接矩阵计算并检验其恢复程度。

第六步：输出局部破坏控制策略：由局部破坏控制策略迭代过程存储的一系列最佳维修动作生成一个完整的局部破坏控制策略。

通过以上步骤，给出了一种基于深度强化学习的局部破坏控制方法，可以解决复杂网络局部破坏状态下进行集群维修的恢复策略问题。

2.根据权利要求1所述的基于深度强化学习的复杂网络局部破坏控制方法，其特征在于：在第一步中所述的“复杂网络局部破坏状态特征描述”中，将复杂网络局部破坏控制问题视为复杂网络的多节点集群维修问题，根据破坏信息建立复杂网络“节点-单元”集群的维修状态0-1矩阵。

首先，构建复杂网络的节点集合K＝{k₁,k₂,…,k_i,…,k_j,…,k_n}(其中n为节点的个数)，将各节点的组成进行拆解，建立其单元集合U＝{u₁,u₂,…,u_i,…,u_j,…,u_m}。以此为基础，建立m×n的“节点-单元”矩阵，并根据破坏信息用“0”、“1”对矩阵中元素赋值，形成维修状态矩阵S。

3.根据权利要求1所述的基于深度强化学习的复杂网络局部破坏控制方法，其特征在于：在第二步中所述的“复杂网络连通状态特征描述”中，将一个复杂网络抽象为一个由节点集K＝{k₁,k₂,…,k_i,…,k_j,…,k_n}和连接(边)集组成的图G＝(K,E)。用一个n×n的邻接矩阵A描述复杂网络中n个节点之间的连接关系(边)，且不考虑自环。当复杂网络中所有单元均正常时，邻接矩阵记为A*。

将节点k_i的单元集U_i＝{u₁,u₂,…,u_m}分为三类单元集则表示单元集中的所有节点均为破坏空间中的故障单元，同理可以对另外两类单元集进行描述。基于上述分类，以节点k_i为例，假设维修状态矩阵S中元素与邻接矩阵A中元素的映射关系f_S→A为

上述关系表示，当节点k_i的a类单元全部破坏时，与该节点关联的所有边均断开；当节点k_i的b类单元全部破坏时，由该节点指向其余节点的边断开；当节点k_i的c类单元全部破坏时，由其余节点指向该节点的边断开。基于复杂网络的初始维修状态，由映射关系f_S→A可以生成初始维修状态的邻接矩阵A。