[发明专利]基于强化学习的故障链路搜索方法、装置、设备及介质

权利要求书

1.一种基于强化学习的故障链路搜索方法，其特征在于，包括：

当监控系统向用户端发出告警信息时，则获取所述告警信息对应的异常节点信息，其中，所述异常节点信息包括：节点的类型、节点异常类型、异常发生的时间，以及异常节点信息对应的节点调用关系；

获取所述异常节点信息对应的邻域节点信息，并分别对所述异常节点信息以及所述邻域节点信息进行状态编码，得到异常节点状态编码和邻域节点状态编码；

通过训练好的决策模型对所述异常节点状态编码和所述邻域节点状态编码进行节点转移方向处理，得到所述异常节点信息对应的异常节点所要转移的方向；

根据所述转移的方向，获取所述异常节点对应的转移节点信息，并将所述转移节点信息发送给所述用户端，以及将每次获取到的所述转移节点信息作为关注节点信息；

根据所述关注节点信息对应关注节点的转移方向，获取所述关注节点对应的转移节点信息，直至所述关注节点为终止节点或获取次数超过预设次数，则停止获取所述转移节点信息，得到不同的所述关注节点信息；

将不同的所述关注节点信息对应的节点与所述异常节点按照调用关系进行连接，得到异常节点链路，并将所述异常节点链路返回给所述用户端；

其中，所述获取所述异常节点信息对应的邻域节点信息，并分别对所述异常节点信息以及所述邻域节点信息进行状态编码，得到异常节点状态编码和邻域节点状态编码，包括：

根据预设节点个数以及所述异常节点对应的节点调用关系，获取所述邻域节点信息；

根据所述节点的类型和所述异常节点类型，分别对所述异常节点信息以及所述邻域节点信息进行编码，得到异常节点编码和邻域节点编码；

分别获取所述异常节点编码以及邻域节点编码各自节点的链路信息，得到异常节点信号编码和邻域节点信号编码；

分别将所述异常节点信号编码以及所述邻域节点信号编码各自的链路信息进行合并，得到所述异常节点状态编码和所述邻域节点状态编码。

2.根据权利要求1所述的基于强化学习的故障链路搜索方法，其特征在于，所述通过训练好的决策模型对所述异常节点状态编码和所述邻域节点状态编码进行节点转移方向处理，得到所述异常节点信息对应的异常节点所要转移的方向，包括：

从所述邻域节点信息中，提取所述异常节点存在一步调用或被调用关系的邻域节点，得到多个待转移节点；

获取多个所述待转移节点对应的状态编码，并统计出每个所述待转移节点对应的状态编码中存在的异常节点类型数量；

通过所述训练好的决策模型根据所述存在的异常节点类型数量确定所述异常节点转移方向，得到所述异常节点所要转移的方向。

3.根据权利要求1所述的基于强化学习的故障链路搜索方法，其特征在于，在所述通过训练好的决策模型对所述异常节点状态编码和所述邻域节点状态编码进行节点转移方向处理，得到所述异常节点信息对应的异常节点所要转移的方向之前，所述方法还包括：

通过卷积神经网络的输入层获取状态信号，并将所述状态信号输入到所述卷积神经网络的卷积层中，提取所述状态信号的节点特征；

以所述节点特征为起点，获取所述节点特征的链路信息；

对所述链路信息进行降维处理，并通过所述卷积神经网络的扁平化层将降维处理后的链路信息转化为一维向量；

通过所述卷积神经网络的全连接层对所述一维向量进行计算处理，得到不同方向所对应的动作价值，并将所述动作价值作为所述卷积神经网络的单次输出结果。

4.根据权利要求3所述的基于强化学习的故障链路搜索方法，其特征在于，在所述通过所述卷积神经网络的全连接层对所述一维向量进行计算处理，得到不同方向所对应的动作价值，并将所述动作价值作为所述卷积神经网络的单次输出结果之后，所述方法还包括：

判断所述单次输出结果是否达到预设阈值，得到第一判断结果；

若所述第一判断结果为所述单次输出结果未达到所述预设阈值，则重新获取所述状态信号；

通过所述状态信号对所述卷积神经网络进行模型训练处理，得到新的输出结果，直至所述新的输出结果达到所述预设阈值，则停止所述模型训练处理，得到所述训练好的决策模型。