[发明专利]一种基于Flume的数据采集与汇聚方法

摘要

本发明提供一种基于Flume的数据采集与汇聚方法，方法的步骤为：将不同格式的数据源分配至不同的采集层Flume中的source层，source层将采集到的原始数据发送给不同格式数据处理的channel层；channel层设置数据清洗规则并进行数据清洗，清洗后发送给采集层Flume的不同格式数据的sink层，sink层发送给不同格式数据的汇聚层Flume的source层；汇聚层Flume的source层获取到的数据发送给不同格式数据的汇聚层Flume的channel层；channel层将获取的汇聚数据发送至汇聚层Flume的sink层，sink层再将汇聚后的数据发送给不同的数据接收方或者由不同的接收方主动拉取汇聚层sink的数据。本发明通过把Flume分别组合为采集层和汇聚层，并通过采集层和汇聚层对应关系配置来灵活处理，实现多种数据过滤，支持接收方对多种数据接收的需求。