[发明专利]一种分析互联网金融海量日志的方法及系统

说明书

本发明公开了一种分析互联网金融海量日志的系统及分析方法，该分析系统包括顺序连接的采集模块、传输模块、以及处理模块；其中，采集模块利用flume实时收集业务日志；传输模块利用kafka技术对业务日志进行传输，处理模块接收业务日志并利用storm对业务日志进行实时计算和分析以得到监控数据。通过flume来实时收集业务日志，实现了对海量日志的实时收集；还通过kafka传输业务日志，保证了在出现高并发时不会出现性能瓶颈；并通过storm的水平拓展能力，能够处理海量数据，且实时性高。

技术领域

本发明涉及互联网金融技术领域，具体来说，涉及一种互联网金融海量日志的分析系统及分析方法。

背景技术

现有的日志系统，部分是针对性能分析的，部分是针对数据处理的。而针对数据处理的，都是离线数据处理，很难做到实时监控，并且很难适应间歇性高并发的应用场景，尤其是针对互联网金融这种对数据一致性，时效性要求高的应用，如果不能及时针对线上故障做出响应，带来的影响就非常大。除此之外，现有的日志系统不能快速处理海量数据，导致问题发现的非常缓慢。

整体来说，现有的日志系统存在以下缺陷：

一、不能有效的应对间歇性的高并发情况。互联网应用因为时段、运营手段等原因，容易出现某个时段高并发情况，这个时候日志量会暴增，如果处理不好很容易出现宕机的情况。例如，突然的一些运营活动导致线上业务压力大、日志量井喷，很容使日志系统宕机；

二、实时性差。现有的日志系统很多都只是离线分析日志，或是准实时的分析日志，当出现线上问题时不能快速有效的响应；

三、处理的数据量有限。现有日志处理的数据量都比较有限，这导致不能保存足够长时间的日志，不利于问题排查。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的上述问题，本发明提出一种分析互联网金融海量日志的系统及分析方法，采用kafka作为日志传输工具，能够有效地解决高并发带来的风险；采用storm集群实时采集数据、分析结果，实现了海量日志实时分析。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种分析互联网金融海量日志的系统，其特征在 于，包括顺序连接的采集模块、传输模块、以及处理模块；其中，采集模块利用flume实时收集业务日志；传输模块利用kafka技术对业务日志进行传输，处理模块接收业务日志并利用storm对业务日志进行实时计算和分析以得到监控数据。

在一个实施例中，还包括：存储模块，连接于处理模块；其中，存储模块包括redis存储单元，其中redis存储单元用于存储统计数据。

在一个实施例中，存储模块还包括：MySQL存储单元、以及Elasticsearch存储单元；其中，MySQL存储单元用于存储规则数据；以及Elasticsearch存储单元用于存储日志文本数据。

在一个实施例中，处理模块包括：报警控制单元，用于根据实时计算和分析的结果生成报警反馈。

在一个实施例中，还包括web展示模块，连接于存储模块，web展示模块实时动态展示监控数据。

根据本发明的另一方面，提供了一种分析互联网金融海量日志的方法，其特征在于，包括：

利用flume实时收集业务日志；

利用kafka技术对业务日志进行传输；

接收业务日志并利用storm对业务日志进行实时计算和分析以得到监控数据。

在一个实施例中，在对业务日志进行实时计算和分析之后还包括：存储统计数据。