[发明专利]一种基于多源异构数据的系统检测方法及装置

权利要求书

1.一种基于多源异构数据的系统检测方法，其特征在于，包括以下步骤：

获取日志文本数据，解析所述日志文本数据提取日志事件，将所述日志事件转换为数值向量并进行对数向量表示；

获取指标时序数据，以分层的方式对段级模式的指标进行建模，抽取出的所述指标嵌入到D维特征表示；

基于异构表示融合将所述日志文本数据的对数向量表示以及所述指标时序数据的D维特征表示输入到融合模块中进行异构数据融合；

通过全连接层和Softmax层函数进行计算推理预测结果，得到系统异常检测的结果。

2.如权利要求1所述的基于多源异构数据的系统检测方法，其特征在于，获取日志文本数据以及指标时序数据之前，基于历史提取模式，从当前异构监测数据获取日志文本数据以及指标时序数据，从当前异构监测数据中捕获特征进行异常检测。

3.如权利要求2所述的基于多源异构数据的系统检测方法，其特征在于，解析所述日志文本数据提取日志事件，包括：

将日志文本数据中非结构化的日志消息转换为结构化的日志事件；

利用Drain解析器来提取日志事件，根据日志时间戳进行排序，得到按时间顺序排列的日志事件；

将日志事件转换为具有词法和语义信息的数值向量，利用FastText捕捉日志词汇的内在语义关系；

将得到的日志上下文语义进行建模和生成日志表示形式，进行对数向量表示。

4.如权利要求3所述的基于多源异构数据的系统检测方法，其特征在于，经过训练的FastText用于将每个标记映射到一个E维向量中，将对数事件x转换为标记嵌入列表其中，w为事件的标记数；

FastText还用于对所有元素取平均，得到一个嵌入向量将对数序列x_1:L用句子嵌入表示

5.如权利要求4所述的基于多源异构数据的系统检测方法，其特征在于，基于FastText获得的嵌入向量作为序列编码器的输入，序列编码器的输入由两个Transformer编码器层组成，通过一个全连接层将输出映射到一个D维特征空间，得到一个块的对数表示

6.如权利要求5所述的基于多源异构数据的系统检测方法，其特征在于，获取指标时序数据，以分层的方式对段级模式的指标进行建模，包括一个方面内编码和一个方面间编码；

所述方面内编码包括：将指标按照相应方面分解为Y组，将相同方面的指标作为一个MTS输入到一个由多层因果卷积网络组成的方面内编码器中，经过填充和切割，方面内编码器输出Y的特征向量h^m，对特征进行最大池化，叠加输出，形成潜在的特征向量

所述方面间编码包括：将方向内编码器输出的H^m作为一个MTS输入到方向间编码器中，块内的指标X^m被嵌入到D维表示中

7.如权利要求6所述的基于多源异构数据的系统检测方法，其特征在于，基于异构表示融合将所述日志文本数据的对数向量表示以及所述指标时序数据的D维特征表示输入到融合模块中进行异构数据融合，包括：

将日志文本数据和指标时序数据均嵌入到D维特征空间中，并输入到融合模块中；

第一个注意力层Attn-α采用日志表示R^l作为Query，指标表示R^m作为Key和Value，以匹配指标变化的日志事件；

第二个注意层Attn-β，R^m为Query，R^l为Key和Value，以找到与日志内容一致的指标差异；

将来自Attn-α和Attn-β的输出连接到D维空间中，每个数据块构成一个全局表示交叉注意力机制通过直接连接Query和Value来显式保留有意义的内部连接，进行异构数据融合。