[发明专利]分布式计算环境的日志动态分析系统

说明书

本发明公开了一种分布式计算环境的日志动态分析系统，包括网关‑日志生成代理服务、日志传输服务、日志收集控制器、实时流处理服务和日志数据分析接口；网关‑日志生成代理服务用于日志定位、生成副本并传输给日志传输服务；日志传输服务将副本传输给日志收集控制器；日志收集控制器将接收的日志副本进行存储；实施流处理服务将日志信息进行实时计算和特征匹配，生成流式处理的数据信息和异常统计信息；日志数据分析接口用于对用户提供实时数据分析结果的查询接口。本发明为分布式计算环境中的每个节点提供数据追踪、监控、用户行为轨迹、功能测试覆盖率等服务，能够处理各类日志文件，并且利用实时数据进行实时日志分析、处理和监控。

技术领域

本发明具体涉及一种分布式计算环境的日志动态分析系统。

背景技术

电力领域中应用的计算机系统在运行会产生大量的系统日志，其中包括了设备固件中的运行日志、数据库日志、应用软件日志、监控平台日志等，这些日志在不断持续增长并以各自不同的形式定义其日志结构和描述信息。如果计算机系统发生异常，会产生上述各种日志文件中的联动记录，造成海量日志难以快速定位分析，诊断信息千丝万缕，难以定位故障源头，造成故障修复困难，导致生产服务失效的风险。为了提高运维质量，满足运维工作中稳定高效技术保障的要求，通常需要运维人员具备较高的日志分析水平。由于传统日志处理技术适用面窄，日志处理内容数据量大，导致面对持续增长的日志内容无法进行快速有效的日志分析处理。

日志动态分析技术是日志处理技术中的一个高级实现，是用于将海量的、持续增长的日志内容进行实时计算、动态处理、异步数据分析的一种方法，它适用于分布式计算环境中通用的应用服务集群、数据库集群等常见部署架构中，它能够识别并捕获应用软件日志、数据库日志、文件型日志等，并采用专门的方法对持续增长的日志内容中进行实时流式处理、并提供针对用户行为日志等非结构化日志的异步离线分析处理，形成一个适用面广、处理海量日志的数据分析架构。但是现有的日志动态分析技术大部分采用顺序批处理方式进行，这种处理方式无法适用各种类型日志文件，其处理分析机制属于事后分析，在实时性方面无法得到保障，在事前预警需求方面无法满足需求。

发明内容

本发明的目的在于提供一种能够处理各种类型日志文件、并且利用实时数据进行实时日志分析、处理和监控的分布式计算环境的日志动态分析系统。

本发明提供的这种分布式计算环境的日志动态分析系统，包括网关-日志生成代理服务、日志传输服务、日志收集控制器、实时流处理服务和日志数据分析接口；网关-日志生成代理服务用于计算机系统的日志定位以及重新生成日志副本，并将日志副本传输给日志传输服务；日志传输服务用于将网关-日志生成代理服务生成的日志副本传输给日志收集控制器；日志收集控制器用于将接收的日志副本进行存储；实施流处理服务将日志收集控制器收集的日志信息进行实时计算和特征匹配，生成流式处理的数据信息和异常统计信息；日志数据分析接口用于对分布式计算环境的日志动态分析系统的用户提供实时数据分析结果的查询接口。

所述的网关-日志生成代理服务包括代理通讯协议模块和日志收集压缩模块；代理通讯协议模块为支持TCP/IP网络协议、Socket安全套接字和IPX数据交换协议的通讯接口，日志收集压缩部分包含用于获取日志的重定向模块和日志压缩模块：获取日志的重定向模块将日志发生计算机上的日志源进行重定向输出，形成日志副本，将此日志副本传输给日志压缩模块。

所述的重定向输出包括如下步骤：

S1. 日志定位：通过扫描日志发生计算机上的文件系统、系统注册表信息，获取日志的文件路径、通过注册表匹配机制确认日志类型，定位日志文件所在的位置；

S2. 重定向生成日志副本：当步骤S1完成日志定位后，对日志发生对象进行日志文件获取、并构建生成日志副本的发生器进程，副本的生成方式与日志发生对象的日志类型对应。