[发明专利]一种基于分布式软件系统的日志文件处理方法、装置

说明书

技术领域

本申请属于互联网技术领域，具体地说，涉及一种基于分布式软件系统的日志文件处理方法、装置。

背景技术

随着云计算的发展，分布式软件可以运行在不同的服务器上时，因此所面临的运行环境更加复杂，此时可能会出现各种各样的故障。

通常，分布式软件输出后,当软件出现故障时，软件开发人员由于不方便连接线上服务器,需要现场人员协助根据日志文件对软件故障进行定位,但是，现场人员不熟悉软件的情况下无法定位错误日志，通常是现场人员登录到各个服务器上收集所有的日志文件给软件开发人员,由软件开发人员进行远程定位故障。

但是，收集的日志文件中既含有正常情况的日志信息,又含有异常情况的日志信息且在分布式部署的软件中，日志文件分布在不同的服务器,日志文件的信息记录量级较重，增加了日志分析、问题定位和故障解决的难度。

发明内容

有鉴于此，本申请提供一种基于分布式软件系统的日志文件处理方法、装置，可以解决现有的日志分析、问题定位和故障解决的难度大的问题。

为了解决上述技术问题，本申请第一方面提供一种基于分布式软件系统的日志文件处理方法，包括：

获取每个服务器当前输出的日志文件，得到日志文件列表；

利用预设的过滤条件，对所述日志文件列表中的日志文件进行过滤处理，所述过滤条件包括用以判断日志文件是否为异常日志的条件；

输出异常日志以便进行故障分析和解决。

可选地，所述预设的过滤条件包括第一过滤条件或第二过滤条件，则利用预设的过滤条件，对所述日志文件列表中的日志文件进行过滤处理，包括：

利用第一过滤条件对所述日志文件列表中的日志文件进行第一过滤处理，得到过滤后的第一过滤日志文件列表，所述第一过滤日志文件列表中的日志文件与异常事件相关；或者

利用第二过滤条件对所述日志文件列表中的日志文件进行第二过滤处理，得到过滤后的第二过滤日志文件列表，所述第二过滤日志文件列表中的日志文件与异常事件相关。

可选地，所述预设的过滤条件包括第一过滤条件和第二过滤条件，则利用预设的过滤条件，对所述日志文件列表中的日志文件进行过滤处理，包括：

利用第一过滤条件对所述日志文件列表中的日志文件进行第一过滤处理，得到过滤后的第一过滤日志文件列表，所述第一日志文件列表中的日志文件与异常事件相关；

利用第二过滤条件对第一过滤日志文件列表中的日志文件进行第二过滤处理，得到过滤后的第三过滤日志文件列表，所述第三过滤日志文件列表中的日志文件与异常事件的相关度大于第一过滤日志文件列表中的日志文件与异常事件的相关度。

可选地，所述第一过滤条件包括预设的异常事件重复次数，则利用第一过滤条件对所述日志文件列表中的日志文件进行第一过滤处理包括：

根据所述日志文件列表中的日志文件，确定每个日志文件对应的异常事件；

根据每个日志文件对应的异常事件，若存在相同异常事件，且所述相同异常事件的次数大于等于预设的异常事件重复次数，则将所述相同异常事件对应的日志文件确定为与异常事件相关，并添加到所述第一过滤日志文件列表中，将不符合预设的异常事件重复次数的日志文件过滤掉。

可选地，所述第二过滤条件包括预设的日志频度阈值，则利用第二过滤条件对所述日志文件列表中的日志文件进行第二过滤处理包括：

计算所述日志文件列表中的每个日志文件的频度，若所述计算的频度小于等于预设的日志频度阈值，则将频度小于等于所述日志频度阈值的日志文件确定为与异常事件相关，并添加到所述第二过滤日志文件列表中，将频度大于所述日志频度阈值的日志文件过滤掉。

可选地，所述第二过滤条件包括预设的日志频度阈值，则利用第二过滤条件对第一过滤日志文件列表中的日志文件进行第二过滤处理包括：

计算所述第一过滤日志文件列表中每个日志文件的频度，若所述计算的频度小于等于预设的日志频度阈值，则将频度小于等于所述日志频度阈值的日志文件确定为与异常事件相关较大，并添加到所述第三过滤日志文件列表中，将频度大于所述日志频度阈值的日志文件过滤掉。

可选地，所述预设的日志频度阈值包括根据所述日志文件列表中每个日志文件的频度计算的频度均值。

可选地，所述预设的日志频度阈值包括根据所述第一过滤日志文件列表中每个日志文件的频度计算的频度均值。

可选地，计算所述日志文件列表中每个日志文件的频度，包括：

根据预设日志文件相似度阈值，将所述日志文件列表中每个日志文件与日志文件数据库中的所有日志文件进行相似度比较；