[发明专利]数据处理方法及装置和电子设备

权利要求书

1.一种数据处理方法，所述方法包括：

接收上游系统输入的待处理的数据流，并按照所述数据流中数据的先后顺序对所述数据流中的数据进行以下处理：

对所述数据流中第一数量行的数据进行两阶段聚合，并在进行所述两阶段聚合中的第一阶段聚合后，确定所述第一阶段聚合的聚合度是否小于阈值；其中，所述两阶段聚合是指执行第一阶段聚合和第二阶段聚合；

如果是，将所述第一数量行的数据之后的第二数量行的数据确定为待处理数据，并对所述待处理数据进行两阶段聚合的第二阶段聚合；如果否，将所述第一数量行的数据之后的第二数量行的数据确定为待处理数据，并对所述待处理数据进行两阶段聚合。

2.根据权利要求1所述的方法，所述确定所述第一阶段聚合的聚合度是否小于阈值，包括：

获取所述第一阶段聚合后的数据分组的分组数量；

将所述第一数量行与所述分组数量的比值确定为所述第一阶段聚合的聚合度；

将所述第一阶段聚合的聚合度与阈值进行比较，确定所述第一阶段聚合的聚合度是否小于阈值。

3.根据权利要求1所述的方法，在所述对所述待处理数据进行两阶段聚合的第二阶段聚合之后，还包括：

对所述待处理数据中的尾部数据进行采样预估，预估当所述尾部数据进行第一阶段聚合时，所述第一阶段聚合的聚合度是否小于阈值；

如果是，则将所述待处理数据之后的第二数量行的数据确定为新的待处理数据，重复执行所述对所述待处理数据进行两阶段聚合的第二阶段聚合；

如果否，则将所述待处理数据之后的第二数量行的数据确定为新的待处理数据，重复执行所述对所述第二数量行的数据进行两阶段聚合。

4.根据权利要求1所述的方法，在所述对所述待处理数据进行两阶段聚合之后，还包括：

确定所述待处理数据在进行第一阶段聚合时，所述第一阶段聚合的聚合度是否小于阈值；

如果是，则将所述待处理数据之后的第二数量行的数据确定为新的待处理数据，重复执行所述对所述待处理数据进行两阶段聚合的第二阶段聚合；

如果否，则将所述待处理数据之后的第二数量行的数据确定为新的待处理数据，重复执行所述对所述第二数量行的数据进行两阶段聚合。

5.根据权利要求3所述的方法，所述对所述待处理数据中的尾部数据进行采样预估，包括：

通过轻量化的采样预估算法，对所述待处理数据中的尾部数据进行采样预估；其中，所述轻量化的采样预估算法的计算量小于对所述尾部数据进行第一阶段聚合的计算量。

6.根据权利要求1所述的方法，所述上游系统包括大规模并行处理数据库。

7.根据权利要求1所述的方法，所述两阶段聚合包括Two-stage Agg，所述第一阶段聚合包括Partial Agg，所述第二阶段聚合包括Final Agg。

8.一种数据处理装置，所述装置包括：

接收单元，接收上游系统输入的待处理的数据流，并按照所述数据流中数据的先后顺序对所述数据流中的数据进行以下处理：

确定单元，对所述数据流中第一数量行的数据进行两阶段聚合，并在进行所述两阶段聚合中的第一阶段聚合后，确定所述第一阶段聚合的聚合度是否小于阈值；其中，所述两阶段聚合是指执行第一阶段聚合和第二阶段聚合；

第一聚合单元，如果是，将所述第一数量行的数据之后的第二数量行的数据确定为待处理数据，并对所述待处理数据进行两阶段聚合的第二阶段聚合；

第二聚合单元，如果否，将所述第一数量行的数据之后的第二数量行的数据确定为待处理数据，并对所述待处理数据进行两阶段聚合。

9.一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1-7中任一项所述的方法。