[发明专利]一种基于日志的大数据分析方法

说明书

本发明公开了一种基于日志的大数据分析方法，所述基于日志的大数据分析方法主要通过相关Beats应用根据其配置文件在各服务器进行数据采集，然后通过LogStash收集由所述Beats应用采集的数据并按自动索引生成的顺序存入到ElasticSearch。ElasticSearch对外提供简洁的Restful风格的查询接口。Elasticsearch通过Java程序开发并使用Lucene作为其核心来实现调用查询数据，即实现所有索引和搜索的功能，能够实现精确定位搜索日志信息并分析相关数据，得到精准的业务数据的作用。最后通过Echart进行可视化的显示，以隐藏Lucene本身的复杂性，从而让索引和搜索变得方便直观。

技术领域

本发明涉及日志文件技术领域，特别是指一种基于日志的大数据分析方法。

背景技术

近几年来，由于数据在互联网领域的持续增长，各公司都面临海量数据的处理需求。数据分析主要为公司的运维决策提供支持，主要基于各服务器产生的日志来进行分析，基于这些日志所提供的数据信息对用户访问、数据流量在时间维度、产品线维度、域名维度等方面有明确的量化数据，从而实现为公司服务器运维管理、流量分配、预估等提供参考的目的。

现有方案主要技术是采用ELK-Stack(elasticsearch、logstash&kibana，分析可视化平台)框架，该框架是由Elasticsearch(弹性检索框架)、IKAnalyzer(IK中文分词器)、Logstash(日志存储)、Beats(数据采集应用)。

如图1所示，为现有技术ELK-Stack框架示意图，包括：

Beats应用，用以采集由系统和服务产生的日志数据，其中Beats又包含文件采集应用Filebeat(轻量型日志采集器)和设备检测应用Metricbeat(轻量型指标采集器)，最后通过LogStash收集并存储到ElasticSearch。

LogStash，用以收集日志、接口服务状态和设备运行情况并存储到ElasticSearch。

ElasticSearch，用以收集由LogStash采集到的数据，并建立索引和提供检索操作。

WebService(网络服务，一种服务导向构架的技术)，用以把内网归集起来的数据存入索引库，并向外部提供查询接口。

Oracle(Oracle Database，Oracle数据库，一款关系数据库管理系统)，把内网归集起来的数据存入索引库，并向外部提供查询接口。

服务后台：用以存储分析后的中间数据，并支撑内外网穿透功能。

数据展现，包括Echarts CSS(一种开源可视化库)和HTML5(超文本标记语言的第五次重大修改版)，用于向用户提供的WebService，把分析后的结果以图表的形式展示给用户。

以现有技术中的设备监控为例，其数据处理的步骤包括：

1.在需要监控的服务器上安装MetricBeat，并配置metricbeat.yml文件，服务器操作的步骤包括：

将module后面的值改为system，即为监控设备系统；

在meticsets节点下配置要监控的指标值，如CPU、Memory等；

将Period后面的值设为监控的时间间隔。

2.修改LogStash配置文件，包括步骤：

新建Logstash_to_es.conf文件；

配置LogStash的输入指定Beat的端口5044，因为设备监控不需要过滤处理，所以不需要filter；