[发明专利]一种分布式实时计算方法、装置、系统及其存储介质

说明书

本发明公开了一种分布式实时计算方法、装置、系统及其存储介质，该方法包括接收可以被解析为有向无环图的计算逻辑信息；解析所述计算逻辑信息生成有向无环图，所述有向无环图具有多个节点和连接所述节点的有向边，所述节点用于指示计算逻辑中的数据操作，所述有向边用于指示计算逻辑中的数据流向；根据所述有向无环图生成计算作业；将所述计算作业提交至分布式计算集群生成常驻计算任务；根据实时数据流通过所述计算任务计算得到实时数据结果。有向无环图可以直观地使开发人员理解数据架构，降低开发周期和开发难度。解决了现有技术中开发周期长、开发难度大的技术问题。

技术领域

本发明涉及互联网技术领域，尤其是指一种分布式实时计算方法、装置、系统及其存储介质。

背景技术

分布式实时计算(Stream Computing也称“流计算”)，是一种持续、低时延、事件触发的计算模型。计算逻辑信息开发的第一步是将计算逻辑信息通过实时计算框架编程语言进行编码，还必须要进行后续的编译调试、测试、部署等多个必要的环节。在程序开发的环节中由于实时计算框架的编程语言不但十分复杂，还需要开发人员熟悉框架相关的概念、命令和API(Application Programming Interface，应用程序编程接口)等相关知识，因此开发人员需要具备深厚的编程功底，即便是经验丰富的开发人员在上述过程中也需要大量的时间去研究程序的架构。在实现本发明过程中，发明人发现现有技术中至少存在如下问题，一个现有技术中的计算逻辑信息完整开发的周期大约需要几个到十几个工作日，发开周期过长并且难度大！

发明内容

本发明的实施例提供了一种分布式实时计算方法，该方法包括：

接收可以被解析为有向无环图的计算逻辑信息；

解析所述计算逻辑信息生成有向无环图，所述有向无环图具有多个节点和连接所述节点的有向边，所述节点用于指示计算逻辑中的数据操作，所述有向边用于指示计算逻辑中的数据流向；

根据所述有向无环图生成计算作业；

将所述计算作业提交至分布式计算集群生成常驻计算任务；

根据实时数据流通过所述计算任务计算得到实时数据结果。

可选地，所述接收可以被解析为有向无环图的计算逻辑信息步骤前，该方法还包括：

将计算作业中的数据操作定义为不同类型的节点；

将所述数据操作的执行顺序定义为数据流向；

根据所述计算作业中的所述节点和所述数据流向架构计算逻辑信息，所述计算逻辑信息可以被解析为有向无环图。

可选地，所述将计算作业中的数据操作定义为不同类型的节点包括：通过SQL编程语言对所述节点进行定义。

可选地，所述将计算作业中的数据操作定义为不同类型的节点包括：所述数据操作的类型包括数据输入、数据输出、数据计算和/或数据转换。

可选地，所述解析所述计算逻辑信息生成有向无环图的步骤后，该方法还包括：从所述有向无环图中用于数据输入的节点开始对每个所述节点进行遍历；

在遍历过程中判断每个所述节点的类型，将所述数据操作中用于数据输入的节点添加为数据源，所述数据操作中用于数据输出的节点添加为数据输出口。

可选地，在遍历过程中判断每个所述节点的类型，将所述数据操作中用于数据输入的节点添加为数据源，所述数据操作中用于数据输出的节点添加为数据输出口的步骤后，该方法还包括：

判断所述有向无环图是否完成遍历；

如果所述有向无环图完成遍历，根据所述有向无环图生成计算作业；