[发明专利]基于可视化的流计算平台、方法、设备和存储介质

说明书

本发明实施例公开了一种基于可视化的流计算平台、方法、设备和存储介质。其中，该流计算平台包括：数据开发组件、流计算组件以及智能调度组件；其中，所述数据开发组件用于通过流计算中的拖拽算子可视化开发对应的流计算应用，并确定所述流计算应用对应的流计算引擎；所述流计算组件用于解析所述流计算应用中携带的调度参数，并调用所述流计算引擎执行所述流计算应用；所述智能调度组件用于根据所述调度参数调度所述流计算应用的执行。本发明实施例提供的技术方案，无需仅由深入了解流计算应用技术的开发人员来实现，提高了流计算平台的应用范围，支持不同流计算引擎的可扩展性，提高流计算开发的灵活性。

技术领域

本发明实施例涉及数据处理领域，尤其涉及一种基于可视化的流计算平台、方法、设备和存储介质。

背景技术

在传统的数据处理流程中，通常是将所收集到的数据统一存储到数据库中，当用户需要时对数据库进行数据查询得到结果，或者进行相关的数据处理。随着网页应用、网络监控以及传感检测等领域的兴起，产生了一种新的数据密集型应用：流数据，即数据以大量、快速、时变的流式持续产生。传统的数据处理方式，如MapReduce方式的离线处理并不能很好的处理这些流式数据，于是产生了一种新的数据处理方式：流计算，可以实时获取来自不同数据源的海量数据，经过实时分析处理，获取有价值的信息。

流计算秉承着数据的价值随着时间流逝而降低的基本理念，例如淘宝双11的实时交易额等，因此当时间出现时就应该立即进行处理，而不是缓存起来进行批量处理。为了及时处理流数据，就需要一个低延迟、可扩展、高可靠的流式数据处理引擎。

现有的流计算引擎主要有商业级的InfoSphere Streams和StreamBase以及开源版本的Twitter Storm、Spark Streaming和Flink，用的比较广泛的是Spark Streaming和Flink引擎。

其中，Spark Streaming是一种构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力，支持从多种数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理，最后将处理结果保存到文件系统、数据库或者展示在仪表盘上。Spark Streaming的内部机制是：接收实时的流数据，并根据一定的时间间隔拆分成一批批的数据，封装成一个个弹性分布式数据集(Resilient DistributedDatasets，RDD)，然后通过流计算引擎处理这些数据，最后得到处理后的一批批结果。这种微批的处理方式使得它可以同时兼容批量和实时数据处理的逻辑和算法，方便用于历史数据和实时数据联合分析的特定应用场景。

Flink是一个用于对无边界和有边界数据流进行有状态计算的框架和分布式处理引擎，支持流处理与批处理两种类型应用。Flink是完全支持流处理，它把流处理中的输入数据流定义为无界的，批处理被看成一种特殊的流处理，将它的输入数据流定义为有界的。Flink在出现无序或者延迟加载的数据情况下也可以提供准确的结果，而且它是状态化容错的，在维护一次完整的应用转态势，能无缝修复错误，有很好的吞吐量和低延迟。

Spark Streaming与Flink都是通用的开源大规模流数据处理引擎，目前是在一个系统支持所有的数据处理以带来效能的提升，都有成熟的生态系统，但两套引擎都需要有资深的程序员才能参与开发，而且目前的流计算产品通常采用全托管的方式进行流计算，不支持多种复杂应用的处理接口，使得流计算开发的灵活性较低，无法满足不同应用对流计算引擎的需求。

发明内容

本发明实施例提供了一种基于可视化的流计算平台、方法、设备和存储介质，提高流计算开发的灵活性，支持流计算引擎的可扩展性。

第一方面，本发明实施例提供了一种基于可视化的流计算平台，该平台包括：数据开发组件、流计算组件以及智能调度组件；其中，