[发明专利]一种日志分析方法与装置在审
申请号: | 201811359414.8 | 申请日: | 2018-11-15 |
公开(公告)号: | CN109471785A | 公开(公告)日: | 2019-03-15 |
发明(设计)人: | 梁盛楠 | 申请(专利权)人: | 郑州云海信息技术有限公司 |
主分类号: | G06F11/34 | 分类号: | G06F11/34;G06N99/00 |
代理公司: | 北京连和连知识产权代理有限公司 11278 | 代理人: | 刘小峰 |
地址: | 450018 河南省郑州市*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 机器学习模型 日志分析 日志信息 日志 日志数据 日志文件 数据集 训练集 数字化处理 日志内容 使用测试 测试集 重构 推断 分析 测试 | ||
1.一种日志分析方法,其特征在于,应用于交换机,包括以下步骤:
收集现有日志并从所述现有日志中提取出日志信息;
对所述日志信息进行数字化处理以获得日志数据;
将所述日志数据重构为机器学习模型可处理的数据集,所述数据集包括训练集和测试集;
使用所述训练集训练多个机器学习模型;
使用所述测试集来测试训练得到的机器学习模型并根据所述测试结果来进行选择;和
使用所选择的机器学习模型来分析新日志。
2.根据权利要求1所述的方法,其特征在于,提取的所述日志信息包括文字内容信息和等级信息;生成的所述日志数据包括文字内容数据和等级数据。
3.根据权利要求2所述的方法,其特征在于,所述数字化处理包括:
将每个所述文字内容信息拆分为多个单词;
使用单词总表对所述多个单词进行统计,在所述单词总表中出现的单词记数字1,未出现的记数字0,生成统计结果;
根据所述统计结果为每个所述文字内容信息生成作为所述文字内容数据的数组。
4.根据权利要求3所述的方法,其特征在于,所述单词总表为将所有所述文字内容信息拆分出的不同单词所形成的表。
5.根据权利要求2所述的方法,其特征在于,所述数字化处理还包括:
为每个日志等级赋予一个相应的数字;
将每个所述等级信息根据与其相对应的数字来生成所述等级数据。
6.根据权利要求2所述的方法,其特征在于,所述重构包括将所有所述文字内容数据和所述等级数据形成作为所述数据集的矩阵。
7.根据权利要求1所述的方法,其特征在于,所述训练集的内容不同于所述测试集的内容并且所述训练集的容量大于所述测试集的容量。
8.根据权利要求7所述的方法,其特征在于,根据所述测试结果来进行选择包括:根据测试结果选择测试精度最高的机器学习模型。
9.根据权利要求1所述的方法,其特征在于,所述多个机器学习模型包括KNN算法或逻辑回归算法。
10.一种日志分析装置,其特征在于,包括:
至少一个处理器;
存储器,所述存储器用于存储可在所述处理器上运行的程序代码,其中所述处理器在运行所述程序代码时执行如权利要求1-9中任意一项所述的日志分析方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于郑州云海信息技术有限公司,未经郑州云海信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811359414.8/1.html,转载请声明来源钻瓜专利网。