[发明专利]一种异常检测方法、装置和监控设备

说明书

本发明公开了一种异常检测方法，在监控设备中执行，适于对一个或多个应用服务器中的目标应用进行异常检测，该方法包括：获取用户访问目标应用时所生成的日志文件，所述日志文件包括多条文本数据；根据文本模式库对所述日志文件进行模式匹配，生成各条文本数据分别对应的文本模式；根据文本模式对文本数据进行分类统计，得到统计结果；以及根据所述统计结果判断目标应用是否发生异常。本发明还公开了对应的异常检测装置和监控设备。

技术领域

本发明涉及计算机与互联网技术领域，尤其涉及一种异常检测方法、装置和监控设备。

背景技术

随着互联网技术的蓬勃发展，计算机已经成为人们日常办公或交流必不可少的工具。用户在使用计算设备时，网络设备会生成log、url和trace等各种文本数据，这些文本数据中记载着日期、时间、使用者及动作等相关操作的描述。通过分析这些文本数据，运维人员可以实时监控系统和网络的健康状况，以及用户的使用情况等。

但是这些文本数据通常数量巨大，且较难读懂，对其进行分析比较耗时耗力，从而根据文本数据进行异常检测比较困难。因此，需要提供一种更高效和更准确的异常检测方法。

发明内容

鉴于上述问题，本发明提出了一种异常检测方法、装置和监控设备，以力图解决或者至少解决上面存在的问题。

根据本发明的一个方面，提供一种异常检测方法，在监控设备中执行，适于对一个或多个应用服务器中的目标应用进行异常检测，该方法包括：获取用户访问目标应用时所生成的日志文件，日志文件包括多条文本数据；根据文本模式库对日志文件进行模式匹配，生成各条文本数据分别对应的文本模式；根据文本模式对文本数据进行分类统计，得到统计结果；以及根据统计结果判断目标应用是否发生异常。

可选地，在根据本发明的方法中，统计结果包括每个应用服务器所生成的日志文件中、各种文本模式在不同时段下分别对应的文本数据条数。根据统计结果判断目标应用是否发生异常的步骤包括：根据所述统计结果确定各种文本模式所对应的文本数据条数随着时间的变化规律；如果某个应用服务器所生成的日志文件中、具有某个文本模式的文本数据条数在某时段内不符合所述变化规律，则判定该应用服务器中的目标应用在该时段内发生异常。

可选地，在根据本发明的方法中，根据统计结果判断目标应用是否发生异常的步骤还包括：如果某个应用服务器中所生成的日志文件中具有某个文本模式的文本数据条数，在某时段内与其他应用服务器对应的文本数据条数有明显差异，则判定该应用服务器中的目标应用在该时段内发生异常。

可选地，在根据本发明的方法中，变化规律通过文本数据条数随着时间的变化曲线来表示。

可选地，在根据本发明的方法中，文本数据条数在某时段内不符合所述变化规律的情况包括：该文本模式所对应的文本数据条数在某一时段内激增或骤降；或者出现一种新的文本模式。

可选地，在根据本发明的方法中，还包括，根据如下方法生成文本模式库：获取目标应用的历史日志文件，其中历史日志文件中包括多条文本数据；对所述历史日志文件中的每条文本数据进行分词处理；对历史日志文件中的文本数据进行第一次遍历，统计出所有文本数据中每个单词的出现次数，并从中筛选出出现次数大于第一阈值的单词作为高频词，将高频词与该高频词的出现次数相关联的存储为高频词词典；分别从历史日志文件中的每条文本数据中筛选出高频词，构成该条文本数据对应的高频词元组；根据各高频词在文本数据中的出现次数，计算任意两个高频词之间的依赖度；对历史日志文件中的文本数据进行第二次遍历，根据文本数据对应的高频词元组，生成每条文本数据的预选文本模式；根据高频词之间的依赖度，对文本数据的预选文本模式进行修正，得到文本数据的修正文本模式；以及对文本数据的修正文本模式进行相似度合并，得到文本模式库。

可选地，在根据本发明的方法中，在对每条文本数据进行分词处理前，还包括步骤：将每条文本数据中的预定类型的关键词替换为预定词，预定类型的关键词包括时间、日期、ip地址和数字中的至少一个。