[发明专利]一种分布式服务器的日志采集监控方法及系统

说明书

本发明提供了一种分布式服务器的日志采集监控方法，所述方法为：步骤S1、对各个服务器的站点日志进行分别采集，采集后的日志数据分别存储在各自服务器的目录上，且每个服务器都有对应的服务器IP；步骤S2、通过接口的方式，接收各个服务器采集的日志数据并存储在消息队里中，再逐个从消息队列中读取日志数据，并按服务器IP和日志时间来做区分，存储在redis里；步骤S3、把收集到的日志数据，从redis里读取出来，通过可视化页面展示出来；步骤S4、通过定时查询redis的zset有序集合中的日志计数器，当日志计数器超过设定的数量大小，则通过短信或者邮箱的形式通知站点负责人；提高了工作效率。

技术领域

本发明涉及计算机通讯技术领域，特别是一种分布式服务器的日志采集监控方法及系统。

背景技术

随着网页业务量的增大，网站的访问量相应的增加，为了满足更大的规模，网站会采用分布式部署，一个站点部署在多台服务器上。在分布式部署之前，单台服务器的日志存储在服务器的某个文件目录中，但随着服务器的增多，同一个站点的日志查找将变得越来越困难。因为当有问题的日志出现时，不知道问题会在哪台服务器发生，存在着定位难的问题，得从多台服务器上浏览日志，查找慢，访问不直观，这无疑是个低效的工作方式。

发明内容

为克服上述问题，本发明的目的是提供一种分布式服务器的日志采集监控方法，能快速定位到出问题的服务器上，提高工作效率。

本发明采用以下方案实现：一种分布式服务器的日志采集监控方法，所述方法包括如下步骤：

步骤S1、对各个服务器的站点日志进行分别采集，采集后的日志数据分别存储在各自服务器的目录上，且每个服务器都有对应的服务器IP；

步骤S2、通过接口的方式，接收各个服务器采集的日志数据并存储在消息队里中，再逐个从消息队列中读取日志数据，并按服务器IP和日志时间来做区分，存储在redis里；

步骤S3、把收集到的日志数据，从redis里读取出来，通过可视化页面展示出来；

步骤S4、通过定时查询redis的zset有序集合中的日志计数器，当日志计数器超过设定的数量大小，则通过短信或者邮箱的形式通知站点负责人。

进一步的，所述步骤S1进一步具体为：分布式站点会部署在多台服务器上，服务器IP用来区分日志发生在哪台服务器，对各个服务器的站点日志进行分别采集，采集到的日志数据包括日志时间、日志内容、日志等级，采集后的日志数据分别存储在各自服务器的目录上，通过post请求方式进行传输，传输时记录时间戳ticket，签名校验sign，服务器IP，站点标识moduleKey，其中，采集间隔：循环逐级采集日志文件目录，直到文件采集结束，定时每分钟查看是否有最新的日志产生。

进一步的，所述步骤S2进一步具体为：通过接口的方式接收传输参数：时间戳ticket，签名校验sign，服务器IP，站点标点moduleKey；对签名进行验签，即校验签名是否合法，验签方式为：sign＝(ticket+IP+moduleKey)Md5；对时间戳进行校验，即校验时间戳ticket是否误差在设定时间内，超过则视为无效采集；把收集的日志数据放入消息队里中，再另起线程，逐一从消息队列里读取日志数据，按照设定的存储方式存到redis里；所述存储方式为：日志数据存储于redis的zset有序集合中，按照站点标识moduleKey:服务器IP:年:月:日:小时，作为key进行存储；所述zset有序集合设置有日志计数器，存储日志数据的时候，也额外累加存储站点的日志数量，按服务器和日期维度将日志数据存到redis的zset有序集合中，用于之后的日志监控预警，zset有序集合有score数值和value值属性，利用socre存储累加的日志数量即作为日志计数器进行统计，用value存储记录的日期维度。

进一步的，所述日期维度格式为：站点标识moduleKey_小时，其中，监控粒度小则按小时累计，监控粒度大则按天累计。