[发明专利]日志文件收集方法和系统及服务器和服务集群控制装置

说明书

技术领域

本发明涉及计算机技术领域，具体涉及日志文件收集方法和系统及服务器和服务集群控制装置。

背景技术

网络设备、系统及服务程序等，在运作时都会产生一个被称为log的事件记录，每一行日志都记载着日期、时间、使用者及动作等相关操作的描述。通过获取log日志文件，能够进行网站访问量、网络故障、网络连接状况等统计分析，方便网络管理者了解网络状况。

然而现有技术中，日志文件都是根据具体业务生成，以便于各个业务了解各自的操作或运行情况。不同业务对应的设备的日志文件，其日志的格式不统一，对于不同域名，日志信息存放于日志文件的不同位置。因此，对于海量日志信息进行统计分析时，程序自动抓取日志信息，由于各个业务或域名对应的设备生成的日志文件中日志信息的存储位置有所不同，例如A设备生成的日志文件中用户IP地址存储在日志文件的第一列，而B设备生成的日志文件中用户IP地址存储在日志文件的第二列，那么如果对于A和B设备提供的日志文件都根据第一列位置抓取用户IP地址时则会错误抓取B设备的日志信息，造成分析结果不准确。

发明内容

本发明提供日志文件收集方法和系统及服务器和服务集群控制装置，以解决对海量日志信息进行统计分析时，抓取错误多导致的分析结果不准确的问题。

本发明提供一种日志文件收集方法，其包括：

在根据业务需求生成第一日志文件时，生成具有统一格式的第二日志文件；

将第二日志文件传输至服务集群端存储，以供终端从服务集群端获取第二日志文件的日志信息。

进一步，将第二日志文件传输至服务集群端存储的步骤进一步包括：

利用实时消息队列进程将第二日志文件传输至服务集群端存储。

进一步，本发明的日志文件收集方法还包括：

根据第二日志文件与第一日志文件的对比情况监控生成第二日志文件的过程；

当第二日志文件缺失时，根据第一日志文件的日志信息生成第二日志文件。

进一步，第二日志文件包括以下日志信息中的一项或多项：主机名、用户IP地址、用户侧至服务侧的响应时间、请求时间、域名和状态码；

生成具有统一格式的第二日志文件的步骤进一步包括：

将日志信息中的一项或多项分别存储至第二日志文件中的固定位置。

本发明还提供一种日志文件收集方法，其包括：

接收并存储服务器发送的具有统一格式的第二日志文件；其中，服务器在根据业务需求生成第一日志文件时，生成第二日志文件；

根据终端的请求，向终端返回第二日志文件的日志信息。

进一步，接收服务器发送的具有统一格式的第二日志文件的步骤进一步包括：

利用实时消息队列进程接收第二日志文件。

进一步，接收并存储服务器发送的具有统一格式的第二日志文件的步骤进一步包括：

存储第二日志文件至固定路径；

向终端返回第二日志文件的日志信息的步骤进一步包括：

按照固定路径查找第二日志文件并向终端返回查找到的第二日志文件的日志信息。

进一步，第二日志文件包括以下日志信息中的一项或多项：主机名、用户IP地址、用户侧至服务侧的响应时间、请求时间、域名和状态码；

并且，日志信息中的一项或多项分别位于第二日志文件中的固定位置。

进一步，状态码还包括：网络故障警报；

本发明的日志文件收集方法还包括：

当与相同的主机名对应的网络故障警报的数量在预设时间内超过预设数量时，根据主机名发出报警提示。

本发明还提供一种服务器，其包括：

第一生成模块，适于根据业务需求生成第一日志文件；

第二生成模块，适于在第一生成模块生成第一日志文件时，生成具有统一格式的第二日志文件；

传输模块，适于将第二日志文件传输至服务集群端存储，以供终端从服务集群端获取第二日志文件的日志信息。

进一步，传输模块进一步适于：利用实时消息队列进程将第二日志文件传输至服务集群端存储。

进一步，本发明的服务器还包括：

监控模块，适于根据第二日志文件与第一日志文件的对比情况监控生成第二日志文件的过程；

第二生成模块进一步适于：当监控模块发现第二日志文件缺失时，根据第一日志文件的日志信息生成第二日志文件。

进一步，第二日志文件包括以下日志信息中的一项或多项：主机名、用户IP地址、用户侧至服务侧的响应时间、请求时间、域名和状态码；