[发明专利]数据聚合方法和装置

权利要求书

1.一种数据聚合方法，其特征在于，包括：

批量获取待处理的数据；

并行地对所述数据分别执行不同任务类型的各种任务处理，其中，每种任务类型的任务设置一个偏移量，用于记录相应任务类型的任务的执行进度；

根据各个偏移量确定各种任务中已执行部分的交集；

将所述交集中的数据进行持久化处理。

2.根据权利要求1所述的方法，其特征在于，所述根据各个偏移量确定各种任务中已执行部分的交集包括：

获取持久化任务中已执行部分的补集；

获取除持久化任务之外的其他各种任务中已执行部分的第一交集；

将所述补集与所述第一交集的交集确定为所述各种任务中已执行部分的交集。

3.根据权利要求1所述的方法，其特征在于，所述并行地对所述数据分别执行不同任务类型的各种任务处理包括：

对所述数据的每种任务分别切片得到相应任务的多个子任务；

确定各个子任务的优先级；

根据各个子任务的优先级，为优先级高的子任务优先调度处理资源；

利用调度的多个处理资源并行地处理各自相应的子任务。

4.根据权利要求3所述的方法，其特征在于，所述对所述数据的每种任务分别切片得到相应任务的多个子任务包括：

根据∑_it_i与t_i的比例信息确定某种任务类型的任务i的子任务切片的长度，其中，t_i表示预设数量的数据执行任务i所需要的时间；

按照每种任务类型的任务i的子任务切片的长度，对任务i进行切片得到任务i的多个子任务。

5.根据权利要求4所述的方法，其特征在于，所述确定某种任务类型的任务i的子任务切片的长度包括：

其中，len_i表示任务i的子任务切片的长度，l表示可配置的常量。

6.根据权利要求3所述的方法，其特征在于，所述确定各个子任务的优先级包括：

根据每种任务类型的任务的总数量和执行偏移量以及该任务的子任务预计所需的处理资源和当前容器的可用处理资源，确定相应任务的各个子任务的优先级，

其中，某种任务类型的任务的某个子任务的优先级与该任务的总数量和该任务的执行偏移量的比例信息正相关，与当前容器的可用处理资源与该任务的子任务预计所需的处理资源的比例信息正相关。

7.根据权利要求6所述的方法，其特征在于，所述确定各个子任务的优先级包括：

其中，C表示某种任务类型的任务的某个子任务的优先级，m表示该任务的总数量，n表示该任务的执行偏移量，r表示当前容器的可用处理资源，w表示该任务的子任务预计所需的处理资源。

8.根据权利要求7所述的方法，其特征在于，还包括：

如果根据优先级形成的子任务队列中首个子任务的优先级小于0，阻塞子任务队列，等待处理资源释放。

9.根据权利要求1-8任一项所述的方法，其特征在于，不同任务类型的各种任务包括归一化任务、信息补全任务、关联任务和持久化任务。

10.一种数据聚合装置，其特征在于，包括：

存储器，

以及

耦合至所述存储器的处理器，所述处理器基于所述存储器中存储的指令执行权利要求1-9任一项所述的数据聚合方法。

11.一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-9任一项所述的数据聚合方法的步骤。