[发明专利]基于强化学习的故障链路搜索方法、装置、设备及介质

说明书

本申请涉及人工智能技术领域，揭露一种基于强化学习的故障链路搜索方法、装置、设备及介质，其中方法包括当监控系统向用户端发出告警信息时，则获取异常节点信息和邻域节点信息，并进行状态编码，得到异常节点状态编码和邻域节点状态编码；并确定异常节点所要转移的方向；根据转移的方向，获取对应的转移节点信息，将每次获取到的转移节点信息作为关注节点信息；根据关注节点的转移方向，获取关注节点对应不同的关注节点信息，从而得到异常节点链路，并将异常节点链路返回给用户端。本申请还涉及区块链技术，异常节点信息存储于区块链中。本发明实施例实现沿故障链路逐步探索，最终搜索得到异常节点链路，有利于提高故障链路搜索的效率。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种基于强化学习的故障链路搜索方法、装置、设备及介质。

背景技术

当系统监控平台出现故障或异常告警时，通常需要对告警进行根因分析，搜索故障的传播链路，定位故障根源，从而便于从根源上修复故障，提高故障恢复效率。在异常告警大量出现的情况，对故障链路搜索将起到尤为重要的作用。

目前故障链路搜索采用的方法是基于监督学习与推荐系统。该方法是通过训练图神经网络等模型，对系统中每个节点进行打分，计算每个节点导致所述告警的概率值，从中选取概率值最大的节点，作为故障根源。然而这种方式的训练模型需要有标注的数据，标注数据获取较为困难，并且当图数据规模较大时，难以直接输入到图神经网络中，通常需要剪枝等预处理操作，该过程相对复杂，从而导致这种方式的故障链路搜索的效率较低。现亟需一种能够提高故障链路搜索的效率的方法。

发明内容

本申请实施例的目的在于提出一种基于强化学习的故障链路搜索方法、装置、设备及介质，以提高故障链路搜索的效率。

为了解决上述技术问题，本申请实施例提供一种基于强化学习的故障链路搜索方法，包括：

当监控系统向用户端发出告警信息时，则获取所述告警信息对应的异常节点信息，其中，所述异常节点信息包括：节点的类型、节点异常类型、异常发生的时间，以及异常节点信息对应的节点调用关系；

获取所述异常节点信息对应的邻域节点信息，并分别对所述异常节点信息以及所述邻域节点信息进行状态编码，得到异常节点状态编码和邻域节点状态编码；

通过训练好的决策模型对所述异常节点状态编码和所述邻域节点状态编码进行节点转移方向处理，得到所述异常节点信息对应的异常节点所要转移的方向；

根据所述转移的方向，获取所述异常节点对应的转移节点信息，并将所述转移节点信息发送给所述用户端，以及将每次获取到的所述转移节点信息作为关注节点信息；

根据所述关注节点信息对应关注节点的转移方向，获取所述关注节点对应的转移节点信息，直至所述关注节点为终止节点或获取次数超过预设次数，则停止获取所述转移节点信息，得到不同的所述关注节点信息；

将不同的所述关注节点信息对应的节点与所述异常节点按照调用关系进行连接，得到异常节点链路，并将所述异常节点链路返回给所述用户端。

为了解决上述技术问题，本申请实施例提供一种基于强化学习的故障链路搜索装置，包括：

异常节点信息获取模块，用于当监控系统向用户端发出告警信息时，则获取所述告警信息对应的异常节点信息，其中，所述异常节点信息包括：节点的类型、节点异常类型、异常发生的时间，以及异常节点信息对应的节点调用关系；

节点状态编码获取模块，用于获取所述异常节点信息对应的邻域节点信息，并分别对所述异常节点信息以及所述邻域节点信息进行状态编码，得到异常节点状态编码和邻域节点状态编码；

节点转移方向处理模块，用于通过训练好的决策模型对所述异常节点状态编码和所述邻域节点状态编码进行节点转移方向处理，得到所述异常节点信息对应的异常节点所要转移的方向；