[发明专利]一种基于Flume的可配置数据集成方法

摘要

一种基于Flume的可配置数据集成方法，包括以下步骤：第一步，数据采集Agent实现，如下：1.1)公共信息提取；1.2)采集Agent执行过程；第二步，数据清洗Agent实现，如下：2.1)公共信息提取；2.2)清洗Agent执行过程；第三步，数据补充Agent实现，如下：3.1)公共信息提取；3.2)补充Agent执行过程；第四步，数据标准化Agent实现，如下：4.1)数据标准化策略；4.2)标准化Agent执行过程；第五步，数据输出Agent实现，如下：5.1)公共信息提取；5.2)输出Agent执行过程。进一步通过提取公共信息的方式，改写了source或者sink的具体功能，使source或者sink成为一个可重复利用的单元，结合配置文件将这些单元组装到Agent中，使Agent完成具体的功能，从而实现了可配置化的需求。本发明对图书馆的异构数据进行高校内的快速集成，搭建高校各自的数据集成中心。