[发明专利]一种数据实时处理系统及方法

说明书

本发明提供一种数据实时处理系统及方法，涉及大数据处理技术领域，所述数据实时处理系统包括：管理模块和计算引擎；所述管理模块用于根据用户指标定义界面上配置的指标属性信息，生成指标计算任务；所述计算引擎用于获取所述管理模块发送的所述指标计算任务，以及，获取输入数据，并根据所述指标计算任务对所述输入数据进行实时运算，获得第一目标指标。本发明的方案实现了不依赖于开源组件，根据接收到的输入数据，在计算引擎中实时计算指标，使得数据实时处理系统的针对性更好，计算性能更高。

技术领域

本发明涉及大数据处理技术领域，尤其是涉及一种数据实时处理系统及方法。

背景技术

现有技术中的数据指标的计算无法单独实施，一般需要依赖于开源流处理框架，如flink框架，进行指标计算，这就导致数据指标的计算的针对性不足，计算性能不好；另外，现有技术中只能获知当前的数据指标，无法实现对历史数据指标的查询。

发明内容

本发明的目的在于提供一种数据实时处理系统，从而解决现有技术中数据指标的计算无法单独实施的问题。

为了达到上述目的，本发明提供一种数据实时处理系统，包括：管理模块和计算引擎；

所述管理模块用于根据用户指标定义界面上配置的指标属性信息，生成指标计算任务；

所述计算引擎用于获取所述管理模块发送的所述指标计算任务，以及，获取输入数据，并根据所述指标计算任务对所述输入数据进行实时运算，获得第一目标指标。

可选的，所述计算引擎用于将所述输入数据加载至内存中，并在所述内存中根据所述指标计算任务对所述输入数据进行实时运算。

可选的，所述系统还包括：处理模块，用于：接收并存储所述第一目标指标；

或者，接收所述管理模块发送的指标计算任务，以及，所述计算引擎发送的所述输入数据，并根据所述指标计算任务对所述输入数据进行离线运算，获得第二目标指标。

可选的，所述管理模块还用于，根据用户在用户查询界面输入的查询条件，在所述计算引擎和/或所述处理模块内，查询与所述查询条件相对应的目标指标，并在所述用户查询界面上显示查询到的目标指标，其中，所述目标指标包括所述第一目标指标和/或所述第二目标指标。

可选的，在根据所述指标计算任务对所述输入数据进行实时运算，获得第一目标指标时，所述计算引擎用于：

根据所述指标计算任务，对所述输入数据进行维度分析，获得维度分析结果；

根据所述维度分析结果，构建或更新聚集单元；

根据所述指标计算任务对所述聚集单元中的数据进行运算，获得所述第一目标指标。

可选的，所述指标计算任务包括以下至少一项：任务名称、计算维度、计算参数、计算类型、数据结构、时效时间。

可选的，在根据所述维度分析结果，构建或更新聚集单元时，所述计算引擎用于：

根据所述计算维度，抽取所述输入数据中的维度值；

根据所述维度值、所述时效时间和所述数据结构，构建或更新所述聚集单元。

可选的，在根据所述维度值、所述时效时间和所述数据结构，构建或更新所述聚集单元时，所述计算引擎用于：

判断当前存储的多个聚集单元中，是否存在维度值与抽取的所述输入数据中的维度值相同的聚集单元；

若当前存储的多个聚集单元中，存在维度值与抽取的所述输入数据中的维度值相同的聚集单元，则根据当前接收所述输入数据的时刻、所述聚集单元中的首条输入数据的时刻和所述时效时间，构建或更新所述聚集单元；