[发明专利]一种Flume集群的管理方法、装置及系统

权利要求书

1.一种Flume集群的管理方法，应用于服务器端，其特征在于，所述方法包括：

根据传输的业务需求，来组建拓扑，在前端界面上接收到用户针对组件区中包括source组件、channel组件、sink组件的Flume组件的控制操作之后，获得所述Flume组件的配置参数集合，其中，当所述用户把所述Flume组件拖拽到所述前端界面的面板区上时，所述Flume组件中各个组件之间通过连接线连接；

基于所述配置参数集合，生成用于指明流式数据传输的源头、通道和目的地的Flume配置文件，创建Flume任务；

接收web接口端发送的用于启动所述Flume任务的启动请求；

根据所述Flume集群当前的资源使用情况、所述Flume任务的运行资源、以及所述Flume任务的优先级，将所述Flume任务分配至所述Flume集群中的第一机器；

生成针对所述Flume任务的启动程序；

根据所述启动程序，控制所述第一机器启动所述Flume任务，并通过Container容器化技术限定所述Flume任务的运行资源，以使所述第一机器可启动多个Flume任务，所述通过Container容器化技术限定所述Flume任务的运行资源是把所述Flume任务对应的进程限制在一定的CPU和内存消耗范围内运行，具体是基于Cgroup资源控制逻辑来实现运行资源的容器化。

2.如权利要求1所述的方法，其特征在于，在根据所述启动程序，控制所述第一机器启动所述Flume任务之后，所述方法还包括：

获得包括所述Flume集群的运行信息和所述Flume任务的运行信息的运行信息集合；

将所述运行信息集合发送至所述web接口端，指示所述web接口端对所述运行信息集合进行显示，以监控所述Flume集群以及所述Flume任务。

3.如权利要求1所述的方法，其特征在于，所述获得所述Flume组件的配置参数集合，包括：

接收用于请求所述Flume组件对应的component组件对象的请求信息；

以JSON形式将所述component组件 对象返回至所述web接口端，以使所述web接口端从JSON形式中的配置项中解析出待输入内容；

在所述前端界面接收到所述待输入内容时，接收所述web接口端以JSON形式返回的所述Flume组件对应的所述配置参数集合。

4.如权利要求3所述的方法，其特征在于，所述基于所述配置参数集合，生成用于指明流式数据传输的源头、通道和目的地的Flume配置文件，创建所述Flume任务，包括：

接收所述web接口端以JSON形式返回的所述source组件、所述channel组件、所述sink组件间的连接方式，以及所述配置参数集合；

确定所述连接方式和所述配置参数集合对应的拓扑对象；

对所述拓扑对象进行解析，生成用于指明流式数据传输的源头、通道和目的地的Flume配置文件，创建所述Flume任务。