[发明专利]一种主/从架构的低耦合的分布式流式计算系统

说明书

本发明实施例提供了一种主/从架构的低耦合的分布式流式计算系统，包括：分布式服务环境、集群管理主节点、集群的工作从节点、集群的业务处理节点；所述分布式服务环境用于存储各个分布式节点的运行状态、负载状态以及任务执行状态；所述集群管理主节点用于管理集群节点的运行状态，并向各个集群节点分发任务；所述集群的工作从节点用于执行所述集群管理主节点分发的任务，并将任务执行的中间结果在Kafka中缓存；所述集群的业务处理节点用于消费Kafka中产生的消息，并得到业务结果。能够适用于多种情况下的流式数据处理，模块之间充分解耦合，能够实现动态缩扩容，实现数据的冗余备份，主节点的备份机制能实现服务的可靠性。

技术领域

本发明实施例涉及大数据处理和流式计算技术领域，尤其涉及一种主/从架构的低耦合的分布式流式计算框架。

背景技术

近年来，随着信息技术的快速发展，数据量呈现飞速增长的趋势，对于海量数据，单台计算机的处理能力已经远远不够，由此推动了分布式系统的研究和进展。分布式计算系统的核心思想就是“分而治之”，将海量数据源进行任务分割，将分割后的任务分发给多台计算机并行处理，并将并行处理的结果合并为最终的结果。分布式计算机集群通过网络互连，可以实现资源的共享、协同工作、并行化处理，对外提供统一的接口，呈现单个完整的计算系统。在海量的、复杂的数据环境中，不仅包含静态的、结构化的数据，还包括源源不断持续产生的、实时性强、非结构化的数据，例如摄像头采集的视频数据，服务器产生的日志数据，搜索引擎的日志等。如何在海量数据中快速分析获取有用的信息是现在分布式计算领域的研究热点。

针对流数据应用场景，与传统的存储在磁盘或内存中的数据不同，流数据的特点在于：实时性：数据流实时产生，需要实时得出分析结果；持久性：数据流无限、持续产生和流入；容错性：对于流数据，经过系统处理后变丢弃，很难恢复数据流，因此需要保证数据源的可靠性处理。例如在分析摄像头的视频流的应用场景中，对于每个摄像头抓取到的视频帧的处理，要考虑到在有限的计算资源的情况下，如何能够实现生产消费平衡，保证流数据处理的实时性，确保每一个数据都被处理好。现有典型的分布式流计算框架有Storm、Sparkstreaming、 Flink等，这些框架在分布式环境下的实时性和容错性都很不错，但是针对特定的业务场景，耦合度过高，增加开发维护成本，降低模块间的异构性，且框架的代码利用率低，造成一定的系统资源浪费。

在流式计算场景下，通用的流计算框架有相对笨重、耦合度高、异构性低的缺点。因此，现在亟需一种新的分布式流式计算框架来解决上述现有技术中存在的问题。

发明内容

为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的一种主/从架构的低耦合的分布式流式计算框架。

第一方面本发明实施例提供一种主/从架构的低耦合的分布式流式计算框架，包括：

分布式服务环境、集群管理主节点、集群的工作从节点、集群的业务处理节点；

所述分布式服务环境用于存储各个分布式节点的运行状态、负载状态以及任务执行状态；

所述集群管理主节点用于管理集群节点的运行状态，并向各个集群节点分发任务；

所述集群的工作从节点用于执行所述集群管理主节点分发的任务，并将任务执行的中间结果在Kafka中缓存；

所述集群的业务处理节点用于消费Kafka中产生的消息，并得到业务结果。

其中，所述主/从架构的低耦合的分布式流式计算框架还包括：

API网关节点，所述API网关节点用于为外部提供API服务或者 WebSocket服务。

其中，所述API网关节点采用了SSL加密和标准的RestfulAPI的方式来保证结果的安全获取。

其中，所述分布式服务环境包括：