[发明专利]一种数据处理系统、方法及装置

权利要求书

1.一种数据处理系统，其特征在于，包括：实时计算模块、消息总线以及管控平台；

所述实时计算模块，适于在实时计算流程的运行过程中，将所述实时计算流程的有向无环图DAG中的任一计算节点的输出结果映射为结构化数据实体DataFrame，并存储在所述消息总线；

所述管控平台，适于在所述实时计算流程的运行过程中，从所述消息总线中获取任一计算节点的DataFrame，进行数据查询，并得到查询结果。

2.根据权利要求1所述的系统，其特征在于，所述管控平台适于采用结构化查询语言SQL进行数据查询，并得到查询结果。

3.根据权利要求1所述的系统，其特征在于，所述管控平台还适于在所述查询结果满足告警条件时，产生告警数据。

4.根据权利要求1所述的系统，其特征在于，所述系统还包括：数据源；所述实时计算模块，还适于根据所述数据源的数据字段结构，将所述数据源的数据自动映射为DataFrame；其中，所述DataFrame为二维表结构的数据实体。

5.根据权利要求1所述的系统，其特征在于，所述DAG中的下游计算节点适于使用根据上游计算节点的输出结果映射得到的DataFrame。

6.根据权利要求1所述的系统，其特征在于，所述管控平台还适于显示以下至少之一信息：所述实时计算流程的DAG、所述DAG中任一计算节点的输出结果映射得到的DataFrame、基于所述计算节点的DataFrame得到的查询结果、所述实时计算流程的宏观视图；其中，所述实时计算流程的宏观视图根据所述一个或多个计算节点的查询结果确定。

7.根据权利要求1所述的系统，其特征在于，所述系统还包括：数据输出端，适于持久化存储所述DAG中最后一个计算节点的输出结果。

8.根据权利要求1所述的系统，其特征在于，所述系统还包括：业务规则模块，适于调整所述DAG中业务规则计算节点所采用的业务规则。

9.根据权利要求1至8中任一项所述的系统，其特征在于，所述消息总线包括：内置Kafka消息总线。

10.一种数据处理方法，其特征在于，包括：

在实时计算流程的运行过程中，将所述实时计算流程的有向无环图DAG中的任一计算节点的输出结果映射得到结构化数据实体DataFrame，并存储在消息总线；

根据从所述消息总线中获取到的所述计算节点的DataFrame，进行数据查询，并得到查询结果。

11.根据权利要求10所述的方法，其特征在于，所述根据从所述消息总线中获取到的所述计算节点的DataFrame，进行数据查询，并得到查询结果，包括：根据从所述消息总线中获取到的所述计算节点的DataFrame，采用结构化查询语言SQL进行数据查询，并得到查询结果。

12.根据权利要求10所述的方法，其特征在于，所述得到查询结果之后，所述方法还包括：在所述查询结果满足告警条件时，产生告警数据。

13.根据权利要求10所述的方法，其特征在于，所述将所述实时计算流程的DAG中的任一计算节点的输出结果映射得到DataFrame之前，所述方法还包括：根据数据源的数据字段结构，将所述数据源的数据自动映射为DataFrame；其中，所述DataFrame为二维表结构的数据实体。

14.根据权利要求10所述的方法，其特征在于，所述DAG中的下游计算节点适于使用根据上游计算节点的输出结果映射得到的DataFrame。