[发明专利]一种日志数据的聚合方法与系统

说明书

本发明公开一种日志数据的聚合方法及系统，将数据在入库时进行一定的归并，从而缩小数据统计的规模，解决统计规模较大的问题，通过空间换取时间的方式可以加快复杂聚合的处理速度；将归并后的数据做一份数据冗余，对于该数据集进行聚合，解决大数据量下的聚合问题。

技术领域

本发明属于数据分析技术领域，尤其是涉及一种日志数据的聚合处理方法及系统。

背景技术

随着大数据时代的到来，一方面由于数据量的爆炸式增长，另一方面由于数据类型的增加，传统的数据分析方法面临巨大的挑战。大数据量的即席查询和应用于数据产品的快速查询，对大数据业务的有效实现至关重要。为了能够满足对一些特定查询、数据挖掘应用的快速处理，数据库需要按照各种维度或多种维度组合，对一些数据字段进行统计分析，如对数据进行分组的求和，求数，最大值，最小值，或者其它的自定义的统计功能，聚合得到特定的一些数据概览。

数据的聚合统计性能是大数据分析领域经常面临的问题。特别是随着数据量的不断增加，涉及复杂聚合的场景开始出现聚合较慢，大于十秒以上的情况，在亿级数据下出现甚至聚合超时的情况。

发明内容

有鉴于此，本发明旨在提出一种日志数据的聚合方法及系统，解决在大数据量的复杂场景下数据分析处理与统计超时的问题。

本发明的技术方案，首先提供一种日志数据的聚合方法，具体包括：

获取原始日志数据；

判断数据是否符合过滤策略，若是则丢弃数据，否则根据源IP和目的IP的资产属性与地理信息，利用KafkaStream或Siddhi对数据进行归并处理，并将数据写回Kafka；

同时在ClickHouse中建立Kafka表，根据Kafka主题将数据写入ClickHouse；以及将归并后的原始数据通过Logstash或Beats写入ES。

作为较佳的，上述的将数据写入ClickHouse，包括根据源ip、源属性、目标IP、目标属性与目的端口五个维度，通过Flink每隔五分钟进行一次聚合统计，并将聚合结果写入ClickHouse。

上述的日志数据聚合方法，还包括对聚合后的数据进行查询筛选，具体为：先根据日志产生时间筛选数据，并对数据量进行累加排序；再根据源ip、源属性、目标IP与目标属性从ES中进行筛选，对筛选结果计算各维度对应的服务top3、流量大小、访问次数，返回至查询请求端。

本发明还提供一种日志数据聚合系统，包括：

数据采集模块，获取原始日志数据，并判断数据是否符合过滤策略，若是则丢弃数据，否则发送至数据归并模块进行归并处理；

数据归并模块，根据源IP和目的IP的资产属性与地理信息，利用KafkaStream或Siddhi对数据进行归并处理并将数据写回Kafka；

数据聚合模块，根据Kafka主题取数据，通过Flink每隔五分钟进行一次聚合统计；

数据存储模块，用于存储日志数据，包括归并数据、聚合数据与原始数据。

所述数据存储模块包括：

聚合数据存储单元，将聚合后的数据写入ClickHouse的Kafka表。

原始数据存储单元，将归并后的原始数据通过Logstash或Beats写入ES。

上述的日志数据聚合系统还包括数据查询模块，先根据日志产生时间筛选数据，并对数据量进行累加排序；再根据源ip、源属性、目标IP与目标属性从ES中进行筛选，对筛选结果计算各维度对应的服务top3、流量大小、访问次数，返回至查询请求端。