[发明专利]用于高速缓存优化和高效处理的数据聚合方法

权利要求书

1.一种由数据处理装置执行的方法，所述方法包括：

检索包括多个数据记录的数据流；

聚合所述数据流的所述多个数据记录以形成预定大小容量的多个记录分组，所述预定大小容量是响应于与所述数据处理装置相关联的高速缓存存储器的存储器大小而确定的；以及

将所述多个记录分组中的相应记录分组传输到与所述数据处理装置的一个或多个处理操作相关联的多个线程中的相应线程。

2.根据权利要求1所述的方法，其中，所述一个或多个处理操作与在所述数据处理装置上执行的数据分析工作流相关联。

3.根据权利要求2所述的方法，还包括：执行所述一个或多个处理操作中的每一个处理操作来以线性顺序执行所述多个记录分组上的相对应的数据分析功能，其中，所述线性顺序根据在所述数据分析工作流中设置的操作序列。

4.根据权利要求3所述的方法，其中，执行所述一个或多个处理操作中的每一个处理操作包括通过在来自与所述数据处理装置相关联的多个处理器当中的相应处理器上执行每个相应线程，而执行的并行处理。

5.根据权利要求1所述的方法，其中，与所述数据处理装置相关联的所述高速缓存存储器的存储器大小是从所述处理装置的操作系统或中央处理单元(CPU)动态地确定的。

6.根据权利要求1所述的方法，其中，所述预定大小容量是所述高速缓存存储器的存储器大小的数量级。

7.根据权利要求1所述的方法，其中，聚合到记录分组中的数据记录的数量是针对所述多个记录分组中的每个记录分组确定的变量，并且不超过所述预定大小容量。

8.根据权利要求1所述的方法，其中，在检索到所述数据流的整体时执行所述聚合。

9.根据权利要求1所述的方法，其中，所述聚合与检索所述数据流并行地执行。

10.根据权利要求1所述的方法，还包括：

在确定所述多个记录分组中的两个或更多个记录分组具有小于预定最小容量的多个数据记录之后，将与所述两个或更多个记录分组相关联的数据记录重新聚合为另外的记录分组。

11.一种数据处理装置，包括：

非暂时性存储器，其存储可执行的计算机程序代码；以及

多个计算机处理器，其具有高速缓存存储器并且通信地耦合到所述存储器，所述计算机处理器执行所述计算机程序代码以执行操作，所述操作包括：

检索包括多个数据记录的数据流；

聚合所述数据流的多个数据记录以形成预定大小容量的多个记录分组，所述预定大小容量是响应于所述高速缓存存储器的存储器大小而确定的；以及

将所述多个记录分组中的相应记录分组传输到与所述多个处理器的一个或多个处理操作相关联的多个线程中的相应线程。

12.根据权利要求11所述的数据处理装置，其中，所述一个或多个处理操作与在所述数据处理装置上执行的数据分析工作流相关联。

13.根据权利要求12所述的数据处理装置，其中，所述操作还包括：

执行所述一个或多个处理操作中的每一个处理操作来以线性顺序执行所述多个记录分组上的相对应的数据分析功能，其中，所述线性顺序根据在所述数据分析工作流中设置的操作顺序。

14.根据权利要求13所述的数据处理装置，其中，执行所述一个或多个处理操作中的每一个处理操作包括通过在来自所述多个处理器当中的相应处理器上执行每个相应线程，而执行的并行处理。

15.根据权利要求11所述的数据处理装置，其中，所述预定大小容量是所述高速缓存存储器的存储器大小的数量级。