[发明专利]一种日志分类的方法、装置、设备及介质

说明书

本发明提供了一种日志分类的方法和装置，该方法包括：获取待分类的日志数据，并提取每个日志数据中的特征词；基于提取的特征词与目标特征值计算卡方值，并基于计算得到的卡方值得到特征词的概率值；基于特征词的概率值将提取的特征词所在的日志进行分类。通过使用本发明的方案，能够提高分类效率，减轻日志分类对比过程中的繁杂性，能够减少日志分类过程的数据处理量，提高日志分类效率和准确性。

技术领域

本发明涉及计算机领域，并且更具体地涉及一种日志分类的方法、装置、设备及可读介质。

背景技术

总所周知，在研发过程中系统监控和Bug的快速定位十分重要。在开发阶段还比较容易对系统进行监控，一般都会在本机上对系统的运行进行实时监控。而对于bug的定位，我们无法预料到在运行中会出行什么想不到的问题，那么在系统运行期间如果产生问题出现异常且无法在测试环境中重现，这时候日志对于运行环境中系统的监控和问题定位是至关重要的，在系统设计、开发和实现的过程中必须时刻注意着日志的输出，这将会对于日后的系统监控和异常分析起至关重要的作用。

发明内容

有鉴于此，本发明实施例的目的在于提出一种日志分类的方法、装置、设备及可读介质，通过使用本发明的技术方案，能够提高分类效率，减轻日志分类对比过程中的繁杂性，能够减少日志分类过程的数据处理量，提高日志分类效率和准确性。

基于上述目的，本发明的实施例的一个方面提供了一种日志分类的方法，包括以下步骤：

获取待分类的日志数据，并提取每个日志数据中的特征词；

基于提取的特征词与目标特征值计算卡方值，并基于计算得到的卡方值得到特征词的概率值；

基于特征词的概率值将提取的特征词所在的日志进行分类。

根据本发明的一个实施例，获取待分类的日志数据，并提取每个日志数据中的特征词包括：

把所有日志文本数据按照6:4的比例分为训练集和测试集，并对日志文本训练集数据进行预处理；

构建Transformer模型，并采用自监督的方式使用训练集数据训练模型直到模型训练完成；

使用测试集数据对训练好的模型进行测试；

响应于测试模型的性能达到预期结果，使用训练后的模型对每个日志数据的特征词提取。

根据本发明的一个实施例，构建Transformer模型，并采用自监督的方式使用训练集数据训练模型直到模型训练完成包括：

将预处理得到的文本数据输入到编码器embedding层和位置编码层以得到输入文本的词向量和位置向量，再将词向量和位置向量相加得到最终词向量；

将最终词向量输入到解码器的第一个多头注意以得到注意力向量，并将注意力向量输入到解码器的前向反馈子层以得到输出文本的语义向量。

根据本发明的一个实施例，基于提取的特征词与目标特征值计算卡方值，并基于计算得到的卡方值得到特征词的概率值包括：

统计特征词正负分类的日志数，其中正分类代表日志中出现特征词，负分类代表日志中未出现特征词；

统计每个特征词在正分类日志中出现的频率A，在负分类日志中出现的频率B，在正分类日志中未出现的频率C和在负分类日志中未出现的频率D；

基于公式：卡方值＝N(AD-BC)^2/(A+B)(C+D)(A+C)(B+D)计算卡方值；

基于公式：自由度k＝(行数-1)(列数-1)计算自由度；

根据卡方值和自由度k可以得到概率值P。

本发明的实施例的另一个方面，还提供了一种日志分类的装置，装置包括：