[发明专利]一种主/从架构的低耦合的分布式流式计算系统

权利要求书

1.一种主/从架构的低耦合的分布式流式计算系统，其特征在于，包括：分布式服务环境、集群管理主节点、集群的工作从节点、集群的业务处理节点；

所述分布式服务环境包括：Zookeeper集群模块、负载均衡模块、分布式服务通信模块以及分布式服务部署模块；

所述Zookeeper集群模块用于存储分布式节点的运行状态、负载状态、任务执行状态；

所述负载均衡模块用于实现任务的负载均衡；

所述分布式服务通信模块用于实现分布式环境下的节点之间直接的通信，以及流处理中间结果的推送，以实现低耦合特性；

所述分布式服务部署模块用于采用容器技术实现分布式服务的部署，采并用统一的RestfulAPI接口用于容器服务间的通信；

所述集群管理主节点用于管理集群节点的运行状态，并向各个集群的工作从节点分发任务；所述集群管理主节点用于负责分布式系统任务调度、负载均衡，管理集群节点的运行状态，任务的分发，机器的任务负载状态和任务的进度管理；

所述集群的工作从节点用于执行所述集群管理主节点分发的任务，并将任务执行的中间结果在Kafka中缓存；

所述集群的业务处理节点用于消费Kafka中产生的消息，并得到业务结果。

2.根据权利要求1所述的主/从架构的低耦合的分布式流式计算系统，其特征在于，所述主/从架构的低耦合的分布式流式计算系统 还包括：

API网关节点，所述API网关节点用于为外部提供API服务或者WebSocket服务。

3.根据权利要求2所述的主/从架构的低耦合的分布式流式计算系统，其特征在于，所述API网关节点采用了SSL加密和标准的RestfulAPI的方式来保证结果的安全获取。

4.根据权利要求1所述的主/从架构的低耦合的分布式流式计算系统，其特征在于，所述分布式服务通信模块还用于实现流数据的传输。

5.根据权利要求1所述的主/从架构的低耦合的分布式流式计算系统，其特征在于，所述集群管理主节点包括：

备份模块和监控模块，所述备份模块采用Zookeeper的Watch机制来进行主从备份，当主节点任务失败时，备份节点立刻进行工作状态；

所述监控模块采用Zookeeper的心跳机制来实时监控从节点的工作状态。

6.根据权利要求1所述的主/从架构的低耦合的分布式流式计算系统，其特征在于，所述集群的工作从节点还用于将节点状态保存在Zookeeper中。

7.根据权利要求1所述的主/从架构的低耦合的分布式流式计算系统，其特征在于，所述集群的业务处理节点还用于将流式数据的结果实时推送到WebSocket中，以使所述流式数据的结果显示到前端浏览器上。