[发明专利]一种基于Flume的在线多方汇聚方法

说明书

本发明公开了一种基于Flume的在线多方汇聚方法，在flume原有流程基础上扩展增加一个flume调度层，使得数据分析平台能够支持flume agent的在线管理，具体步骤如下所示：S1.在flume所在机器上部署flume调度器；S2.由数据分析平台调用flume调度器进行flume进行agent创建；S3.flume调度器根据相应参数进行agent配置生成；S4.然后执行flume创建命令，并将结果反馈给flume调度层。本发明可实现flume agent的在线配置，优于人工登陆生产服务器配置的方式；不用配置flume所在机器的账号密码或者免密登陆配置；扩展性强，数据分析平台不依赖flume，而通过中间层调用，可将flume替换为其他数据汇聚组件。

技术领域

本发明涉及数据分析技术领域，特别涉及一种基于Flume的在线多方汇聚方法。

背景技术

在传统基于flume多方数据汇聚方案中，一般有两种方式。

1.通过人工配置flume的agent的方式，效率低，不易扩展，容易出错。

2.通过程序SSH登陆flume机器进行自动配置的方式，权限不易管控，需进行前期大量配置，不易维护。

发明内容

本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于Flume的在线多方汇聚方法，目的是为企业在使用flume过程中，可以更方便的创建flume agent来进行多方数据的汇聚，转发等，不仅可以解决人工配置的不可以预测风险，程序自动远程配置的权限不易管控、运维成本增加等问题。

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明一种基于Flume的在线多方汇聚方法，在flume原有流程基础上扩展增加一个flume调度层，使得数据分析平台能够支持flume agent的在线管理，具体步骤如下所示：

S1.在flume所在机器上部署flume调度器；

S2.由数据分析平台调用flume调度器进行flume进行agent创建；

S3.flume调度器根据相应参数进行agent配置生成；

S4.然后执行flume创建命令，并将结果反馈给flume调度层。

与现有技术相比，本发明的有益效果如下：

1.可实现flume agent的在线配置，优于人工登陆生产服务器配置的方式；

2.不用配置flume所在机器的账号密码或者免密登陆配置；

3.扩展性强，数据分析平台不依赖flume，而通过中间层调用，可将flume替换为其他数据汇聚组件。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的初始化密钥流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1

如图1所示，本发明提供一种基于Flume的在线多方汇聚方法，在flume原有流程基础上扩展增加一个flume调度层，使得数据分析平台能够支持flume agent的在线管理，具体步骤如下所示：

S1.在flume所在机器上部署flume调度器；

S2.由数据分析平台调用flume调度器进行flume进行agent创建；