[发明专利]流计算系统及其数据处理方法、电子设备及介质

说明书

本发明提供一种流计算系统及其数据处理方法、电子设备及介质，流计算系统包括流计算引擎和数据接入层，所述数据接入层包括时效队列和堆积队列，所述流计算引擎包括时效数据流图和堆积数据流图，数据接入层接收数据源的数据，检查时效队列中缓存的数据长度，如果时效队列还有剩余空间，数据直接入队到时效队列；如果时效队列没有剩余空间，数据直接入队到堆积队列；所述时效数据流图消费时效队列的数据，所述堆积数据流图消耗堆积队列的数据。本发明使流计算引擎同时具有时效敏感和抗堆积特性。

技术领域

本发明涉及数据处理技术领域，更为具体地，涉及一种流计算系统及其数据处理方法、电子设备及计算机可读存储介质。

背景技术

流计算是一种广范应用于实时大数据处理的计算模型。流计算模型将数据源看作在时间分布和数量上无限的流的形式，数据源源不断的持续生成，并随着时间的流逝价值逐渐降低。流计算模型中，不同算子以有向无环图（DAG）的形式串联到一起，从上到下依次处理流入的数据。

当前主流的流计算引擎（如Flink），同一算子以多实例的方式并行处理数据，不同算子以远程调用（RPC）的方式连接，加之数据缓冲池、流水线化等机制，最大化利用计算资源，提升计算能力。然而，不同算子处理数据时能承载的最大吞吐量是不同的，当下游算子的吞吐量小于上游时，下游算子的数据缓冲池就会出现数据堆积。为了防止数据堆积过大造成系统崩溃，流计算引擎一般会引入反压机制，通过降低上游算子的吞吐量来平衡上下游算子的数据通过量。因此，当输入流计算引擎的数据源出现数据洪峰时，数据到达量大于数据通过量，系统将进入反压状态，对计算的时效性产生严重影响。

发明内容

鉴于上述问题，本发明提供一种流计算系统及其数据处理方法、电子设备及计算机可读存储介质，其目的在于新的数据源接入方法，使流计算引擎即使处于反压状态也具有时效敏感性，同时且有抗数据堆积能力。

为了实现上述目的，本发明提供一种流计算系统包括流计算引擎和数据接入层，所述数据接入层包括时效队列和堆积队列，所述流计算引擎包括时效数据流图和堆积数据流图，数据接入层接收数据源的数据，检查时效队列中缓存的数据长度，如果时效队列还有剩余空间，数据直接入队到时效队列；如果时效队列没有剩余空间，数据直接入队到堆积队列；所述时效数据流图消费时效队列的数据，所述堆积数据流图消耗堆积队列的数据。

可选地，所述数据接入层还包括判断模块，通过判断时效队列是否达到了设定的固定最大长度来判断时效队列是否还有剩余空间。

可选地，所述时效数据流图按照吞吐量配置计算资源。

进一步地，所述时效队列的容量通过数据在时效队列中的最长停留时间和消费时效队列的时效数据流图的吞吐量确定。

可选地，所述流计算引擎还包括：

采集模块，采集每天时效队列和堆积队列的数据流入的峰值；

吞吐量获得模块，通过上一天的时效队列和堆积队列的数据流入的峰值分别设定时效数据流图和堆积数据流图的最大计算吞吐量，一天的时效数据流图的最大计算吞吐量不小于上一天的时效队列的数据流入的峰值，一天的堆积数据流图的最大计算吞吐量不小于上一天的堆积队列的数据流入的峰值。

可选地，所述流计算引擎还包括调整模块，调整消费堆积队列的堆积数据流图的计算资源配置，从而动态调整流计算系统的通过流量上限。

为了实现上述目的，本发明还提供一种利用流计算系统的数据处理方法，包括：

构建连接数据源和流计算系统的流计算引擎的数据接入层，所述数据接入层包括时效队列和堆积队列，所述流计算引擎包括时效数据流图和堆积数据流图；

通过数据接入层接收数据源的数据；

检查数据接入层的时效队列中缓存的数据长度；