[发明专利]一种海量日志数据智能运维系统

权利要求书

1.一种海量日志数据智能运维系统，其特征在于：包括

日志采集模块：收集目标机上的应用日志、操作系统日志和网络设备日志并将日志数据结构化后输出给日志处理模块；

日志处理模块：分为实时处理和离线处理，实时处理包括实时统计、实时告警、实时分析，离线处理包括数据批量存储、离线分析、机器学习；之后将处理后的信息发送给日志存储模块；

在日志处理模块中，所述实时处理包括以下功能，1)实时统计：统计每种数据类型的数据量；2)实时告警：按照用户下发的告警规则及时发现问题，并以页面消息、短信、邮件的形式通知用户；3)实时分析：根据机器学习提供的模型分析日志数据，实现运行状态监测、个性化推荐；

所述离线处理包括以下功能，1)数据批量存储：原始日志存入HBase，Elasticsearch创建日志索引；2)离线分析：数据关联分析、数据血缘分析；3)机器学习：通过监督学习和非监督学习构造分析模型，为实时分析功能提供支持；

日志处理模块的离线处理中，离线分析包括对数据关联分析、数据血缘分析；

日志处理模块的离线处理中，机器学习寻找相关日志的具体步骤包括：

(1)预处理：

1)切分日志数据；

2)扔掉出现过于频繁，而又对检测相关日志没有帮助的词语；

3)扔掉出现频率很低，只有很小可能出现在未来日志中的词语；

(2)向量化：对每一条日志中预处理后的词语进行统计，将词语出现的次数记录下来并表示成一个向量；

(3)聚类计算：通过步骤(2)中每条日志数据产生的特征向量，将日志数据分成一系列相互之间没有关系的簇；

(4)相关性比较：将新来的日志数据向量化，并与所有簇进行比较，将与新日志距离最小的簇分配给该日志；

日志存储模块：是存储原始日志数据、索引数据、统计分析数据和资源配置数据，包括MySQL关系数据库、Redis内存数据库、Elasticsearch搜索引擎、HBase列存储数据库；

业务应用模块：通过web界面提供查询统计、监督报警、智能报表、仪表盘、知识库功能，数据从日志存储模块读出；

日志存储模块中，其中，

1)原始日志数据存储，将原始日志存入HBase列存储数据库中；

2)索引数据存储，由Elasticsearch搜索引擎来为日志数据创建索引；

3)统计分析数据存储，将统计分析结果存入Redis内存数据库中；

4)资源配置数据存储，将资源配置数据存入MySQL关系数据库中。

2.根据权利要求1所述的海量日志数据智能运维系统，其特征在于：日志采集模块包括主动采集和被动采集两种方式，所述主动采集是通过代理读取日志文件来实现日志采集；所述被动采集是通过Syslog、SNMP以及OPSEC各协议来实现日志采集。

3.根据权利要求1所述的海量日志数据智能运维系统，其特征在于：业务应用模块中，其中，

1)查询统计，搜索的四种方式包括范围查询、正则表达式、NOT/AND/OR布尔值和字段过滤；

2)监督报警，支持针对日志设置条件触发式的监控告警，告警条件触发后，能够通过页面消息、短信或者邮件发送给预先设置的告警接收人，通过对日志设定不同的触发条件，实现基于业务逻辑的监控告警；

3)智能报表，将用户搜索数据和统计图表生成报表，同时包含通过分析生成的预测信息和决策信息；

4)仪表盘，以可视化配置的方式，让业务人员和技术人员都能够根据需求来自定义分析模型；仪表盘支持包括图形视图面板、表格视图面板、数字视图面板和文本视图面板，能够通过组合不同的面板来完成复杂的报表呈现；

5)知识库，用于收集、处理、分享知识，能够为其他功能模块出现的问题提供解决方案。

4.根据权利要求3所述的海量日志数据智能运维系统，其特征在于：查询统计的功能中，每次搜索都会为用户生成简单直观的时间序列趋势图，这是搜索时间范围内所有索引日志事件的直方图，能够利用直方图比较随着时间推移的日志属性。