[发明专利]分布式计算环境的日志动态分析系统

摘要

本发明公开了一种分布式计算环境的日志动态分析系统，包括网关‑日志生成代理服务、日志传输服务、日志收集控制器、实时流处理服务和日志数据分析接口；网关‑日志生成代理服务用于日志定位、生成副本并传输给日志传输服务；日志传输服务将副本传输给日志收集控制器；日志收集控制器将接收的日志副本进行存储；实施流处理服务将日志信息进行实时计算和特征匹配，生成流式处理的数据信息和异常统计信息；日志数据分析接口用于对用户提供实时数据分析结果的查询接口。本发明为分布式计算环境中的每个节点提供数据追踪、监控、用户行为轨迹、功能测试覆盖率等服务，能够处理各类日志文件，并且利用实时数据进行实时日志分析、处理和监控。

主权项

1.一种分布式计算环境的日志动态分析系统，其特征在于包括网关‑日志生成代理服务、日志传输服务、日志收集控制器、实时流处理服务和日志数据分析接口；网关‑日志生成代理服务用于计算机系统的日志定位以及重新生成日志副本，并将日志副本传输给日志传输服务；日志传输服务用于将网关‑日志生成代理服务生成的日志副本传输给日志收集控制器；日志收集控制器用于将接收的日志副本进行存储；实施流处理服务将日志收集控制器收集的日志信息进行实时计算和特征匹配，生成流式处理的数据信息和异常统计信息；日志数据分析接口用于对分布式计算环境的日志动态分析系统的用户提供实时数据分析结果的查询接口；所述的网关‑日志生成代理服务包括代理通讯协议模块和日志收集压缩模块；代理通讯协议模块为支持TCP/IP网络协议、Socket安全套接字和IPX数据交换协议的通讯接口，日志收集压缩部分包含用于获取日志的重定向模块和日志压缩模块：获取日志的重定向模块将日志发生计算机上的日志源进行重定向输出，形成日志副本，将此日志副本传输给日志压缩模块。