[发明专利]一种日志数据异常指向识别方法及装置

说明书

本发明公开了一种日志数据异常指向识别方法，该方法包括:设置日志数据异常的采样与提取规则，获得所述日志中的异常数据；对所述异常数据进行模式化处理，得到所述异常数据与其对应的异常标签的匹配关系；设置异常模式的损失函数，计算获得使所述损失函数的值最小的参数值；根据所述参数值生成数据异常判别函数，判断获得所述异常数据的指向。通过本发明实现了对海量日志数据分析并根据数据异常快速定位异常所在根源的目的。

技术领域

本发明涉及大数据技术领域，特别是涉及基于隐因子模式学习的异常分类与协同警戒机制的一种日志数据异常指向识别方法及装置。

背景技术

信息系统在日常运行时会产生大量数据，而数据异常现象是广泛存在且不可避免的，通常一套成熟的信息系统可以承受甚至自动纠正单位时间段内一定比例或范围内出现的数据异常现象，即该信息系统具备容错能力。然而，在单位时间内，出现的数据异常比例或者范围超出了信息系统的容错承受能力，就会使得系统出现异常，影响其安全运行。

为了保证信息系统的安全运行，通常会对信息系统机器网络设备与相关软件程序等在日常运行时产生的日志进行异常检测，来排除危害信息系统正常运行的因素。其中，每一行日志都记载着日期、时间、用户及变更等相关操作的描述。通过检查日志，可以描述系统发生错误的具体情况，排查是物理损坏还是人为入侵，如果是物理损害需得到物理损坏的硬件位置，对应的如果是人为入侵，则需查明人为入侵的攻击途径，这样才能保证信息系统的安全运行。

传统的日志检查的方法包括：一是基于规则查找，通过已知攻击的特征进行分析，并从中提取数据异常的固定规则，将这类规则收集起来形成一个规则集合，信息系统在运行过程可以通过检索这些规则集合中的信息从而判定发生的数据不一致现象是否对系统正常运行构成威胁；二是统计学方法，此方法通过对信息收发量、系统资源占用率等相关数据设置一个正常标准阈值，当系统实际运行超过这个标准阈值就认为是运行异常。上述的传统的日志检查方法都是用在判断信息系统是否存在运行异常的现象，如果需要对日志信息进行监控就要启动日志审计系统，它按预先设定的时间间隔采集日志信息，并对采集到的日志数据进行数据格式标准化处理，使得日志数据便于分析，及时发现对系统具有安全威胁的数据或者异常行为时间产生的数据并发出相应系统异常警告。虽然日志审计系统可以实时的监测信息系统的整体运行与各子设备的运行状况，帮助安全维护管理人员快速定位故障位置和状况。但是，随着大数据时代的来临，接入互联网用户的增加以及物联网的发展，信息系统规模越来越发，网络环境日趋复杂。这样就使得日志审计系统需实时处理与分析的日志数据越来越多，这对日志审计系统的实时处理能力提出了新的要求。如何对海量日志数据进行高速度并行分析，并可以快速的检索日志信息及定位问题所在位置也是目前日志审计系统所面临的主要问题。

发明内容

针对于上述问题，本发明提供一种日志数据异常指向识别方法及装置，实现了对海量日志数据分析并根据数据异常快速定位异常所在根源的目的。

为了实现上述目的，根据本发明的第一方面，提供了一种日志数据异常指向识别方法，该方法包括：

设置日志数据异常的采样与提取规则，获得所述日志中的异常数据；

对所述异常数据进行模式化处理，得到所述异常数据与其对应的异常标签的匹配关系，其中，所述异常标签为根据造成所述数据异常现象的根源进行构造的标签；

根据所述匹配关系，设置异常模式的损失函数，计算获得使得所述损失函数的值最小的参数值；

根据所述参数值生成数据异常判别函数，判断获得所述异常数据的指向。

优选的，所述方法还包括：

根据所述异常数据的指向，判断是否进行调节优化，如果是，则重新设置日志数据异常的采样与提取规则，如果否，则进行指向异常报警。

优选的，所述设置日志数据异常的采样与提取规则，获得所述日志中的异常数据，包括：