[发明专利]一种数据处理系统、方法及装置

说明书

本申请公开了一种数据处理系统、方法及装置；上述数据处理系统，包括：实时计算模块、消息总线以及管控平台；其中，实时计算模块，适于在实时计算流程的运行过程中，将实时计算流程的有向无环图DAG中的任一计算节点的输出结果映射为结构化数据实体DataFrame，并存储在消息总线；管控平台，适于在实时计算流程的运行过程中，从消息总线中获取任一计算节点的DataFrame，进行数据查询，并得到查询结果。本申请能够实现对实时计算流程的实时监控。

技术领域

本申请涉及但不限于数据处理技术，尤其涉及一种数据处理系统、方法及装置。

背景技术

近年来，实时计算和流式计算等实时化较强的计算方式被广泛应用，比如，在安全领域，通过实时化较强的计算方式基于大数据进行数据分析，以提高对安全攻击事件的响应速度，甚至提前感知和预测安全攻击事件以解决安全问题。其中，实时计算的一个重要方向是实时流计算。

实时流计算不同于离线批处理计算。实时流计算的特点就是数据源持续不断地产生新的数据，整个计算过程持续不断地运行，中间数据都在内存中保存，因此，很难对整个复杂实时流计算流程中的计算节点进行调试，很难看到中间计算结果数据，如此，给整个运维工作带来了很多不便，数据调试工作的耗时变得很长。另外，流计算任务上线之后，若要对计算流程中的某些需要频繁变动的业务规则进行调整，则不得不重新发布变动业务规则后的计算流程，使得业务规则的修改不能马上看到结果，无法做到代码即所得。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本申请实施例提供一种数据处理系统、方法及装置，能够实现对实时计算流程的实时监控。

第一方面，本申请实施例提供一种数据处理系统，包括：实时计算模块、消息总线以及管控平台；

所述实时计算模块，适于在实时计算流程的运行过程中，将所述实时计算流程的有向无环图(DAG)中的任一计算节点的输出结果映射为结构化数据实体(DataFrame)，并存储在所述消息总线；

所述管控平台，适于在所述实时计算流程的运行过程中，从所述消息总线中获取任一计算节点的DataFrame，进行数据查询，并得到查询结果。

在示例性实施方式中，所述管控平台可以适于采用结构化查询语言(SQL)进行数据查询，并得到查询结果。

在示例性实施方式中，所述管控平台还可以适于在所述查询结果满足告警条件时，产生告警数据。

在示例性实施方式中，上述系统还可以包括：数据源；所述实时计算模块，还可以适于根据所述数据源的数据字段结构，将所述数据源的数据自动映射为DataFrame；其中，所述DataFrame为二维表结构的数据实体。

在示例性实施方式中，所述DAG中的下游计算节点可以适于使用根据上游计算节点的输出结果映射得到的DataFrame。

在示例性实施方式中，所述管控平台还可以适于显示以下至少之一信息：所述实时计算流程的DAG、所述DAG中任一计算节点的输出结果映射得到的DataFrame、基于所述计算节点的DataFrame得到的查询结果、所述实时计算流程的宏观视图；其中，所述实时计算流程的宏观视图根据所述一个或多个计算节点的查询结果确定。

在示例性实施方式中，上述系统还可以包括：数据输出端，适于持久化存储所述DAG中最后一个计算节点的输出结果。

在示例性实施方式中，上述系统还可以包括：业务规则模块，适于调整所述DAG中业务规则计算节点所采用的业务规则。

在示例性实施方式中，所述消息总线可以包括：内置Kafka消息总线。

第二方面，本申请实施例提供一种数据处理方法，包括：