[发明专利]一种日志数据的聚合方法与系统

权利要求书

1.一种日志数据的聚合方法，其特征在于，包括：

获取原始日志数据；

判断数据是否符合过滤策略，若是则丢弃数据，否则根据源IP和目的IP的资产属性与地理信息，利用KafkaStream或Siddhi对数据进行归并处理，并将数据写回Kafka；

同时在ClickHouse中建立Kafka表，根据Kafka主题将数据写入ClickHouse；以及将归并后的原始数据通过Logstash或Beats写入ES。

2.根据权利要求1所述的日志数据聚合方法，其特征在于，所述将数据写入ClickHouse，包括根据源ip、源属性、目标IP、目标属性与目的端口五个维度，通过Flink每隔五分钟进行一次聚合统计，并将聚合结果写入ClickHouse。

3.根据权利要求1所述的日志数据聚合方法，其特征在于， 该方法还包括对聚合后的数据进行查询筛选，具体为：先根据日志产生时间筛选数据，并对数据量进行累加排序；再根据源ip、源属性、目标IP与目标属性从ES中进行筛选，对筛选结果计算各维度对应的服务top3、流量大小、访问次数，返回至查询请求端。

4.一种日志数据聚合系统，其特征在于，包括：

数据采集模块，获取原始日志数据，并判断数据是否符合过滤策略，若是则丢弃数据，否则发送至数据归并模块进行归并处理；

数据归并模块，根据源IP和目的IP的资产属性与地理信息，利用KafkaStream或Siddhi对数据进行归并处理并将数据写回Kafka；

数据聚合模块，根据Kafka主题取数据，通过Flink每隔五分钟进行一次聚合统计；

数据存储模块，用于存储日志数据，包括归并数据、聚合数据与原始数据。

5.根据权利要求4所述的日志数据聚合系统，其特征在于，所述数据存储模块包括：

聚合数据存储单元，将聚合后的数据写入ClickHouse的Kafka表；

原始数据存储单元，将归并后的原始数据通过Logstash或Beats写入ES。

6.根据权利要求4所述的日志数据聚合系统，其特征在于，还包括数据查询模块，先根据日志产生时间筛选数据，并对数据量进行累加排序；再根据源ip、源属性、目标IP与目标属性从ES中进行筛选，对筛选结果计算各维度对应的服务top3、流量大小、访问次数，返回至查询请求端。