[发明专利]一种基于分布式软件系统的日志文件处理方法、装置在审
申请号: | 201610399565.0 | 申请日: | 2016-06-07 |
公开(公告)号: | CN107479994A | 公开(公告)日: | 2017-12-15 |
发明(设计)人: | 张鹏 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F11/07 | 分类号: | G06F11/07;G06F17/30 |
代理公司: | 北京国昊天诚知识产权代理有限公司11315 | 代理人: | 许志勇 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 分布式 软件 系统 日志 文件 处理 方法 装置 | ||
1.一种基于分布式软件系统的日志文件处理方法,其特征在于,包括:
获取每个服务器输出的日志文件,得到日志文件列表;
利用预设的过滤条件,对所述日志文件列表中的日志文件进行过滤处理,所述过滤条件包括用以判断日志文件是否为异常日志的条件;
输出异常日志以便进行故障分析和解决。
2.根据权利要求1所述的方法,其特征在于,所述预设的过滤条件包括第一过滤条件或第二过滤条件,则利用预设的过滤条件,对所述日志文件列表中的日志文件进行过滤处理,包括:
利用第一过滤条件对所述日志文件列表中的日志文件进行第一过滤处理,得到过滤后的第一过滤日志文件列表,所述第一过滤日志文件列表中的日志文件与异常事件相关;或者
利用第二过滤条件对所述日志文件列表中的日志文件进行第二过滤处理,得到过滤后的第二过滤日志文件列表,所述第二过滤日志文件列表中的日志文件与异常事件相关。
3.根据权利要求1所述的方法,其特征在于,所述预设的过滤条件包括第一过滤条件和第二过滤条件,则利用预设的过滤条件,对所述日志文件列表中的日志文件进行过滤处理,包括:
利用第一过滤条件对所述日志文件列表中的日志文件进行第一过滤处理,得到过滤后的第一过滤日志文件列表,所述第一过滤日志文件列表中的日志文件与异常事件相关;
利用第二过滤条件对第一过滤日志文件列表中的日志文件进行第二过滤处理,得到过滤后的第三过滤日志文件列表,所述第三过滤日志文件列表中的日志文件与异常事件的相关度大于第一过滤日志文件列表中的日志文件与异常事件的相关度。
4.根据权利要求2或3所述的方法,其特征在于,所述第一过滤条件包括预设的异常事件重复次数,则利用第一过滤条件对所述日志文件列表中的日志文件进行第一过滤处理包括:
根据所述日志文件列表中的日志文件,确定每个日志文件对应的异常事件;
根据每个日志文件对应的异常事件,若存在相同异常事件,且所述相同异常事件的次数大于等于预设的异常事件重复次数,则将所述相同异常事件对应的日志文件确定为与异常事件相关,并添加到所述第一过滤日志文件列表中,将不符合预设的异常事件重复次数的日志文件过滤掉。
5.根据权利要求2所述的方法,其特征在于,所述第二过滤条件包括预设的日志频度阈值,则利用第二过滤条件对所述日志文件列表中的日志文件进行第二过滤处理包括:
计算所述日志文件列表中的每个日志文件的频度,若所述计算的频度小于等于预设的日志频度阈值,则将频度小于等于所述日志频度阈值的日志文件确定为与异常事件相关,并添加到所述第二过滤日志文件列表中,将频度大于所述日志频度阈值的日志文件过滤掉。
6.根据权利要求3所述的方法,其特征在于,所述第二过滤条件包括预设的日志频度阈值,则利用第二过滤条件对第一过滤日志文件列表中的日志文件进行第二过滤处理包括:
计算所述第一过滤日志文件列表中每个日志文件的频度,若所述计算的频度小于等于预设的日志频度阈值,则将频度小于等于所述日志频度阈值的日志文件确定为与异常事件相关较大,并添加到所述第三过滤日志文件列表中,将频度大于所述日志频度阈值的日志文件过滤掉。
7.根据权利要求5所述的方法,其特征在于,所述预设的日志频度阈值包括根据所述日志文件列表中每个日志文件的频度计算的频度均值。
8.根据权利要求6所述的方法,其特征在于,所述预设的日志频度阈值包括根据所述第一过滤日志文件列表中每个日志文件的频度计算的频度均值。
9.根据权利要求5或7所述的方法,其特征在于,计算所述日志文件列表中每个日志文件的频度,包括:
根据预设日志文件相似度阈值,将所述日志文件列表中每个日志文件与日志文件数据库中的所有日志文件进行相似度比较;
根据所述日志文件数据库中存在与所述日志文件的相似度大于等于所述相似度阈值的日志文件的个数,确定所述日志文件的频度。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610399565.0/1.html,转载请声明来源钻瓜专利网。