[发明专利]一种基于Flume的数据处理方法及装置

权利要求书

1.一种基于Flume的数据处理方法，其特征在于，所述方法包括：

Flume系统中的agent扫描监听目录，在监控到源文件读取完毕后，获取被读取完毕的所述源文件的源文件名称；

所述agent保存所述源文件名称到源文件名称组；

所述agent通过查询所述源文件名称组过滤掉已读取完毕的源文件；

按照所述源文件的末次更改时间顺序优先读取末次更改时间最早的源文件。

2.根据权利要求1所述的方法，其特征在于，所述保存所述源文件名称到源文件名称组，包括：

保存所述源文件名称到表格文件中的源文件名称组；

或者，保存所述源文件名称到数据库中的源文件名称组。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

根据正则表达式对所述源文件进行过滤。

4.根据权利要求3所述的方法，其特征在于，所述根据正则表达式对所述源文件进行过滤之前，所述方法还包括：

在不需要过滤的源文件名称中预先设置筛选字段。

5.一种基于Flume的数据处理装置，其特征在于，所述装置应用于Flume系统中的agent，包括：

获取单元，用于扫描监听目录，在监控到源文件读取完毕后，获取被读取完毕的所述源文件的源文件名称；

保存单元，用于保存所述源文件名称到源文件名称组；

过滤单元，用于通过查询所述源文件名称组过滤掉已读取完毕的源文件；

读取单元，用于按照所述源文件的末次更改时间顺序优先读取末次更改时间最早的源文件。

6.根据权利要求5所述的装置，其特征在于，所述保存单元具体用于：

保存所述源文件名称到表格文件中的源文件名称组；

或者，保存所述源文件名称到数据库中的源文件名称组。

7.根据权利要求5或6所述的装置，其特征在于，所述过滤单元，还用于根据正则表达式对所述源文件进行过滤。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括预设单元，用于在不需要过滤的源文件名称中预先设置筛选字段。