[发明专利]一种分布式流数据的采集方法

权利要求书

1.一种分布式流数据的采集方法，其特征在于，包括：

步骤1：Source接收Events或通过特殊机制产生Events，并将Events批量的放到一个或多个Channels；

步骤2：Channel接收缓存Source输出Events，而当有Sink消费掉Channel中的数据Channel中的数据直到进入到下一个Channel中或者进入终端才会被删除；

步骤3：Sink将events传输到下一跳或最终目的，成功完成后将events从channel移除，Sink会消费Channel中的数据，然后送给外部源或者其他Source。

2.根据权利要求1所述的分布式流数据的采集方法，其特征在于，所述Source的类型包括：

a)系统集成的Sources：Syslog(系统日志)，Netcat；

b)自动生成事件的Sources：Exec，SEQ；

c)用于Agent和Agent之间通信的IPCSources：Avro，Thrift。

3.根据权利要求1所述的分布式流数据的采集方法，其特征在于，所述Source还可以用来接收外部源发送过来的数据，不同的Source，可以接受不同的数据格式。

4.根据权利要求1所述的分布式流数据的采集方法，其特征在于，每个Source至少和一个Channel关联，以将接收的数据进行缓存。

5.根据权利要求1所述的分布式流数据的采集方法，其特征在于，Channel是一个存储池，介于Source和Sink之间，主要用来接收缓存Source输出Events，而当有Sink消费掉Channel中的数据，Channel中的数据直到进入到下一个Channel中或者进入终端才会被删除；当Sink写入失败后，可以自动重启。

6.根据权利要求1所述的分布式流数据的采集方法，其特征在于，Flume允许多个Agent连在一起，形成前后相连的多级跳。