[发明专利]一种基于多源异构数据的系统检测方法及装置

说明书

本发明涉及计算机技术领域，具体涉及一种基于多源异构数据的系统检测方法及装置，通过获取日志文本数据，解析提取日志事件，将日志事件转换为数值向量并进行对数向量表示；获取指标时序数据，以分层的方式对段级模式的指标进行建模，抽取出的所述指标嵌入到D维特征表示；基于异构表示融合将对数向量表示以及D维特征表示输入到融合模块中进行异构数据融合；通过全连接层和Softmax层函数进行计算推理预测结果。本发明通过从异构数据中捕获有意义的特征来进行异常检测，不仅利用了日志数据的语义信息和指标数据的时间依赖，还通过注意力融合机制学习跨模态表征，来缩小差距，以提供更加合理的检测判断。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于多源异构数据的系统检测方法及装置。

背景技术

近年来，软件系统的规模和复杂性都在急剧增长，随之而来的是系统异常出现频率的上升。在实际的场景中，服务供应商会应用自动化异常检测来保证软件系统的可靠性。软件系统异常检测的基础数据来自对各项功能的监视数据，如业务指标、日志、警报和跟踪，其中指标是度量系统状态的实值时间序列，如响应时间、线程数量等，日志是用于记录系统的运行时状态的文本消息。

现有的自动化异常检测，只依赖于单一的指标数据或者日志数据，精确度不足，会产生很多错误预测。特别是，在大规模的分布式系统中，只依赖单一数据源的异常检测精确度更加糟糕，所以通过多个监视数据源的组合能更充分地利用运行时的信息来分析系统状态。

发明内容

有鉴于此，本发明旨在提供了一种基于多源异构数据的系统检测方法及装置，通过分层体系结构捕获模态内依赖，并通过模态注意融合机制生成日志和指标数据的全局表示，以实现更加精确的异常判断。

为实现上述目的，本发明提供了如下的技术方案：

第一方面，在本发明提供了一种基于多源异构数据的系统检测方法，包括以下步骤：

获取日志文本数据，解析所述日志文本数据提取日志事件，将所述日志事件转换为数值向量并进行对数向量表示；

获取指标时序数据，以分层的方式对段级模式的指标进行建模，抽取出的所述指标嵌入到D维特征表示；

基于异构表示融合将所述日志文本数据的对数向量表示以及所述指标时序数据的D维特征表示输入到融合模块中进行异构数据融合；

通过全连接层和Softmax层函数进行计算推理预测结果，得到系统异常检测的结果。

作为本发明的进一步方案，获取日志文本数据以及指标时序数据之前，基于历史提取模式，从当前异构监测数据获取日志文本数据以及指标时序数据，从当前异构监测数据中捕获特征进行异常检测。

作为本发明的进一步方案，解析所述日志文本数据提取日志事件，包括：

将日志文本数据中非结构化的日志消息转换为结构化的日志事件；

利用Drain解析器来提取日志事件，根据日志时间戳进行排序，得到按时间顺序排列的日志事件；

将日志事件转换为具有词法和语义信息的数值向量，利用FastText捕捉日志词汇的内在语义关系；

将得到的日志上下文语义进行建模和生成日志表示形式，进行对数向量表示。

作为本发明的进一步方案，经过训练的FastText用于将每个标记映射到一个E维向量中，将对数事件x转换为标记嵌入列表其中，w为事件的标记数；

FastText还用于对所有元素取平均，得到一个嵌入向量将对数序列x_1:L用句子嵌入表示