[发明专利]日志数据处理方法及系统

说明书

技术领域

本发明涉及计算机领域，尤其涉及一种日志数据处理方法及系统。

背景技术

日志在计算机领域是一个较为宽泛的概念，任何程序都可能输出日志，例如集群监控程序、入侵检测程序、Web服务器程序等。日志的具体格式千差万别，但本质上都是事件或行为的记录，日志通常包括事件主体、发生时间、事件内容等。日志分析是为了抽取日志数据中有价值的信息，例如检测异常事件，并做出相应调控。

在多数场景下，日志具有数据量大、实时性强、动态波动等特点，为了及时高效地处理日志，日志分析系统多采用分布式架构，即系统中存在多个发送端和多个后端服务器，发送端实时发送日志数据，后端服务器接收数据进行分析处理。为保障系统性能，发送端和后端服务器之间需要动态负载均衡机制。此外，日志分析不能简单基于单条日志，而应当基于一连串相关的日志序列。为此，发送端会对日志进行预处理标记，具有相同标识（ID）的日志必须发送到相同的后端服务器处理，称之为“同源同宿”。如何实现动态负载均衡机制，并保证同源同宿已经成为分布式日志分析的关键问题。

传统负载均衡一般采用负载均衡器转发模式，其结构示意图如图1所示，发送端或客户端发送请求到负载均衡器，负载均衡器再根据一定策略向服务器转发。负载均衡器转发模式面向Web等传统网络应用设计，其数据特点是请求数据量小，响应数据量大。该模式对此做出针对性优化，即请求数据经过负载均衡器转发，响应数据不经过负载均衡器，直接返回给发送端，避免负载均衡器成为单点瓶颈。

现有日志分析系统仍采用负载均衡器转发模式。但是，日志分析的数据特点是输入数据量（即请求数据量）大、输出数据量（即响应数据量）小，负载均衡器转发模式不能适应这一特点，会导致大量日志数据经过负载均衡器，形成单点瓶颈，严重影响系统的可扩展性。

发明内容

本发明所要解决的技术问题是提供一种日志数据处理方法及系统，避免传统负载均衡器转发模式中负载均衡器成为单点瓶颈的影响，提高可扩展性。

为解决上述技术问题，本发明提出了一种日志数据处理方法，包括：

步骤一，设置每个发送端都与所有的服务器相连；

步骤二，发送端为自身产生的每条日志分配一个日志标识；

步骤三，发送端查询发送记录表中是否存在待发送日志的日志标识，若存在则从发送记录表中获取与该待发送日志的日志标识对应的服务器标识，该服务器标识对应的服务器即为选择的服务器；

步骤四，发送端将待发送日志数据直接发送给选择的服务器。

进一步地，上述日志数据处理方法还可具有以下特点，所述步骤三中，若发送记录表中不存在待发送日志的日志标识，则使用服务器选取函数为待发送日志选择服务器，所述服务器选取函数的输入为日志标识，输出为服务器，此时所述日志数据处理方法还包括：

步骤五，将已发送日志的日志标识与接收该已发送日志的服务器的对应关系记录到发送记录表中。

进一步地，上述日志数据处理方法还可具有以下特点，还包括：

步骤六，各个服务器定时向监控中心报告自身的负载信息

步骤七，监控中心判断各个服务器负载是否均衡；

步骤八，若判断结果为不均衡时，监控中心更新服务器选取函数，并将更新后的服务器选取函数发送给所有发送端。

步骤九，发送端根据更新后的服务器选取函数选择接收待发送日志的服务器。

进一步地，上述日志数据处理方法还可具有以下特点，所述步骤七包括：

计算各个服务器的加权负载值，加权负载值等于所有的加权因素与其加权因子的乘积之和，所述加权因素和加权因子预先设定；

获取最大的加权负载值和最小的加权负载值；

计算最大加权负载值与最小加权负载值的差值；

若所述差值小于0.25，则判定服务器负载均衡，否则判定服务器负载不均衡。

进一步地，上述日志数据处理方法还可具有以下特点，步骤八中，更新服务器选取函数包括：

计算1与服务器的加权负载值的差，记为该服务器的空闲值；

计算所有服务器的空闲值的和，记为整体空闲值；

计算服务器的空闲值与整体空闲值的商，记为该服务器的相对比例，该相对比例即为服务器被选取为接收服务器的比例；

以日志标识为输入，将日志标识的分布空间划分为N份，每份的比例与服务器的相对比例对应，其中，N为服务器的个数。

为解决上述技术问题，本发明提出了一种日志数据处理系统，包括：