[发明专利]数据处理方法、装置、计算设备及流计算系统

说明书

本申请实施例提供一种数据处理方法、装置、计算设备及流计算系统。其中，确定基于结构化查询语言编写的排序语句；基于所述排序语句，生成执行计划；执行所述执行计划以读取流数据中的数据记录；以及，从所述流数据中的数据记录及内存中的已存储数据记录中，按照第一维度对应数据的数值大小，保留TopN条数据记录至所述内存。本申请实施例提供的技术方案提供了针对流数据的通用处理方式，降低了数据处理的复杂度。

技术领域

本申请实施例涉及计算机应用技术领域，尤其涉及一种数据处理方法、装置、计算设备及流计算系统。

背景技术

在很多业务运行时，存在对流数据进行流式计算的需求，比如流式TopN，流式TopN也即是指持续按照某个统计指标将多条数据进行排序，并取前N条数据的计算过程，流式TopN可以用来实时计算排行榜，因此具有广泛应用。

目前通常采用流计算系统，如Apache Storm等，对流数据进行处理，而流计算系统在计算TopN时，需要撰写非常复杂的程序代码，如java代码，复杂度较高且不具备通用性。

发明内容

本申请实施例提了供一种数据处理方法、装置、计算设备及流计算系统。

第一方面，本申请实施例中提供了一种数据处理方法，包括：

确定基于结构化查询语言编写的排序语句；

基于所述排序语句，生成执行计划；

其中，所述执行计划被执行以用于读取流数据中的数据记录，并从所述流数据中的数据记录及内存中已存储数据记录中，按照第一维度对应数据的数值大小，保留TopN条数据记录至所述内存。

第二方面，本申请实施例中提供了一种数据处理方法，包括：

获取执行计划；其中，所述执行计划针对基于结构化查询语言编写的排序语句生成；

执行所述执行计划以读取流数据中的数据记录；

从所述流数据中的数据记录及内存中的已存储数据记录中，按照第一维度对应数据的数值大小，保留TopN条数据记录至所述内存。

第三方面，本申请实施例中提供了一种数据处理装置，包括：

语句确定模块，用于确定基于结构化查询语言编写的排序语句；

计划生成模块，用于基于所述排序语句，生成执行计划；

其中，所述执行计划被执行以用于读取流数据中的数据记录，并从所述流数据中的数据记录及内存中已存储数据记录中，按照第一维度对应数据的数值大小，保留TopN条数据记录至所述内存。

第四方面，本申请实施例中提供了一种数据处理装置，包括：

计划获取模块，用于获取执行计划；其中，所述执行计划针对基于结构化查询语言编写的排序语句生成；

计划执行模块，用于执行所述执行计划以读取流数据中的数据记录；以及从所述流数据中的数据记录及内存中的已存储数据记录中，按照第一维度对应数据的数值大小，保留TopN条数据记录至所述内存。

第五方面，本申请实施例中提供了一种计算设备，包括处理组件以及存储组件；

所述存储组件存储一个或多个计算机指令；所述一个或多个计算机指令用以被所述处理组件调用执行；

所述处理组件用于：

确定基于结构化查询语言编写的排序语句；

基于所述排序语句，生成执行计划；