[发明专利]日志数据异常检测方法、装置、终端及介质在审
申请号: | 201910586120.7 | 申请日: | 2019-07-01 |
公开(公告)号: | CN110321371A | 公开(公告)日: | 2019-10-11 |
发明(设计)人: | 张梦妮;谭利军;周峰;马晓雁;吴懿伦 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/2458 | 分类号: | G06F16/2458;G06F16/26 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 郝传鑫;熊永强 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 日志数据 标识序列 网络设备 系统日志 异常检测 目标日志 预测结果 日志 日志数据转换 终端 时序排列 序列转换 异常处理 异常数据 比对 预测 申请 | ||
1.一种日志数据异常检测方法,其特征在于,包括:
获取第一日志数据序列,将所述第一日志数据序列转换为对应的第一标识序列,所述第一日志数据序列为第一网络设备的时序排列的M个系统日志数据,所述第一标识序列包含M个日志标识,所述M为大于2的整数;
基于所述第一标识序列预测所述第一标识序列的下一个日志标识,获得预测结果,所述预测结果包含至少一个预测日志标识;
获取第二日志数据,所述第二日志数据为所述第一网络设备在所述第一日志数据序列之后产生的下一个的系统日志数据;
将所述第二日志数据转换为对应的目标日志标识;
将所述目标日志标识与所述预测结果进行比对,确定所述第二日志数据是否为异常数据。
2.根据权利要求1所述的方法,其特征在于,所述将所述第一日志数据序列转换为对应的第一标识序列包括:
提取所述第一日志数据序列中的各系统日志数据的关键字;
根据预设的关键字与日志标识的对应关系,确定所述各系统日志数据的关键字所对应的各日志标识;
依据所述第一日志数据序列中所述各系统日志数据的排列顺序排列所述各日志标识,获得所述第一日志数据序列对应的第一标识序列。
3.根据权利要求2所述的方法,其特征在于,所述基于所述第一标识序列预测所述第一标识序列的下一个日志标识,获得预测结果包括:
将所述第一标识序列输入预测网络模型,输出至少一个预测日志标识以及所述预测日志标识对应的预测概率;
依据所述预测概率由大到小对所述各预测日志标识进行排序,获取所述排序中前N个预测日志标识为所述预测结果,所述N为正整数。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述将所述目标日志标识与所述预测结果进行比对,确定所述第二日志数据是否为异常数据包括:
若所述预测结果中不包含所述目标日志标识,确定所述第二日志数据为异常数据;
若所述预测结果中包含所述目标日志标识,确定所述第二日志数据不为异常数据。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
若所述第二日志数据为所述异常数据,生成包含所述第二日志数据的异常处理信息;
响应于所述异常处理信息,执行与所述第二日志数据对应的异常处理事项。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
若所述第二日志数据为所述异常数据,根据解析模板对所述第二日志数据进行解析,获得所述第一网络设备的异常信息;
根据信息聚合标签获取目标网络设备的异常信息;
确定所述目标网络设备的异常信息所对应的异常处理事项,执行所述异常处理事项。
7.根据权利要求6所述的方法,其特征在于,所述信息聚合标签包含目标设备标识和时长阈值;
所述根据信息聚合标签获取目标网络设备的异常信息包括:
获取所述时长阈值内所述目标设备标识所对应的网络设备的异常信息。
8.根据权利要求6或7所述的方法,其特征在于,所述异常信息包含异常类型、异常端口、异常值、异常等级、危险指数中的任一种或几种。
9.根据权利要求2所述的方法,其特征在于,所述预测网络模型的训练方法包括:
获取样本网络设备的系统日志数据的时序序列,作为待训练数据序列,所述待训练数据序列包含X个样本日志数据,所述X大于所述M;
将所述待训练数据序列转换为对应的样本标识序列;
获取所述样本标识序列中连续的M个样本标识组成的序列作为输入数据,所述M个样本标识的下一个样本标识作为验证数据;
基于所述输入数据和所述验证数据训练网络模型,获得所述预测网络模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910586120.7/1.html,转载请声明来源钻瓜专利网。