[发明专利]一种数据流处理方法及系统

权利要求书

1.一种数据流处理方法，其特征在于，所述方法包括：

由Zookeeper集群确定若干Master节点中的一个作为主节点；

由所述主节点提供对外接口以接收业务的上线请求，并为所述业务分配任务；以及

根据多个Worker节点各自上报的主机运行状态信息，生成所述任务的配置信息并写入所述ZooKeeper集群中，所述配置信息包括指示被调度以执行所述任务的Worker节点的信息；

所述Worker节点若监听到所述ZooKeeper集群中存在调度给自己的任务，则启动Flume服务进行执行。

2.根据权利要求1所述的方法，其特征在于，所述由Zookeeper集群确定若干Master节点中的一个作为主节点包括：

所述ZooKeeper集群接收所述Master节点基于预设触发事件发起的主节点选举请求，并在选举成功后使得所述Master节点作为主节点，其中，所述预设触发事件为如下事件之一：

所述Master节点被启动；

作为主节点的当前Master节点发生故障。

3.根据权利要求1所述的方法，其特征在于，所述根据多个Worker节点各自上报的主机运行状态信息，生成所述任务的配置信息包括：

根据所述多个Worker节点各自上报的主机运行状态信息，确定所述多个Worker节点中主机运行状态最佳的目标Worker节点；

生成指示将所述任务调度至所述目标Worker节点的配置信息。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

由所述主节点根据所述多个Worker节点各自上报的主机运行状态信息和任务执行状态信息，对所述任务的配置信息进行调整；

其中，调整后的所述任务的配置信息指示对处于空闲状态的任务进行缩容处理，并对和处于堆积状态的任务进行扩容处理；以及

将主机负载处于过载状态的Worker节点上的任务迁移到主机负载处于空闲状态的Worker节点上进行执行。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：

所述主节点通过所述对外接口接收对所述业务的下线请求；以及

将所述业务的下线信息和为所述业务分配的任务的下线信息写入到所述ZooKeeper集群中，以使执行所述任务的Worker节点停止Flume服务。

6.一种数据流处理系统，其特征在于，所述系统包括Zookeeper集群、若干Master节点和多个Worker节点，其中：

所述Zookeeper集群，用于确定若干Master节点中的一个作为主节点；

所述主节点，用于提供对外接口以接收业务的上线请求，并为所述业务分配任务；

所述主节点，还用于根据多个Worker节点各自上报的当前状态信息，生成所述任务的配置信息并写入所述ZooKeeper集群中，所述配置信息包括指示被调度以执行所述任务的Worker节点的信息；

所述Worker节点，用于若监听到所述ZooKeeper集群中存在调度给自己的任务，则启动Flume服务进行执行。

7.根据权利要求6所述的系统，其特征在于，所述ZooKeeper集群具体用于：

接收所述Master节点基于预设触发事件发起的主节点选举请求，并在选举成功后使得所述Master节点作为主节点，其中，所述预设触发事件为如下事件之一：

所述Master节点被启动；

作为主节点的当前Master节点发生故障。

8.根据权利要求6所述的系统，其特征在于，所述主节点具体用于：

根据所述多个Worker节点各自上报的主机运行状态信息，确定所述多个Worker节点中主机运行状态最佳的目标Worker节点；

生成指示将所述任务调度至所述目标Worker节点的配置信息。