[发明专利]用于实时数据处理的方法和设备

权利要求书

1.一种用于实时数据处理的方法，包括：

响应于接收到多个作业，分析所述多个作业之间的约束关系以获取流水线信息；

读取至少一部分待处理数据；以及

基于所述流水线信息，针对所述待处理数据执行所述多个作业以生成至少一部分处理结果。

2.根据权利要求1所述的方法，其中所述流水线信息包括以下至少一个：所述多个作业中的各任务的依赖序列、所需的计算资源、估计执行时间。

3.根据权利要求1或2所述的方法，其中所述多个作业中的每个作业包括多个任务，以及基于所述流水线信息、针对所述待处理数据执行所述多个作业以生成至少一部分处理结果包括：

基于所述流水线信息，将所述多个作业中的各任务划分为多个有序分组，其中在前后相继的两个分组中，后一分组的执行依赖于前一分组的输出。

4.根据权利要求3所述的方法，其中基于所述流水线信息、针对所述待处理数据执行所述多个作业以生成至少一部分处理结果包括：针对所述多个有序分组中一个分组，同时为所述分组以及所述分组的后继分组分配计算资源。

5.根据权利要求4所述的方法，其中当完成所述分组中的任务时释放所分配的计算资源。

6.根据权利要求3所述的方法，还包括：将所述多个作业中的每个作业的多个任务划分为第一类型和第二类型，其中第二类型任务的执行依赖于第一类型任务的输出。

7.根据权利要求6所述的方法，其中所述第一类型是Map类型任务，以及所述第二类型是Reduce类型任务。

8.根据权利要求1或2所述的方法，进一步包括：提供以下至少一种容错机制：提供冗余任务以及记录验证点数据。

9.根据权利要求8所述的方法，其中记录验证点数据包括以下至少一个：针对特定任务记录验证点数据，以及针对特定分组中的每个任务记录验证点数据。

10.根据权利要求1或2所述的方法，其中在多个轮次中生成所述处理结果，以及基于先前轮次的处理，调整针对待处理数据的其他轮次的处理。

11.一种用于实时数据处理的设备，包括：

用于响应于接收到多个作业、分析所述多个作业之间的约束关系以获取流水线信息的装置；

用于读取至少一部分待处理数据的装置；以及

用于基于所述流水线信息、针对所述待处理数据执行所述多个作业以生成至少一部分处理结果。

12.根据权利要求11所述的设备，其中所述流水线信息包括以下至少一个：所述多个作业中的各任务的依赖序列、所需的计算资源、估计执行时间。

13.根据权利要求11或12所述的设备，其中所述多个作业中的每个作业包括多个任务，以及用于基于所述流水线信息、针对所述待处理数据执行所述多个作业以生成至少一部分处理结果的装置包括：

用于基于所述流水线信息、将所述多个作业中的各任务划分为多个有序分组的装置，其中在前后相继的两个分组中，后一分组的执行依赖于前一分组的输出。

14.根据权利要求13所述的设备，其中用于基于所述流水线信息、针对所述待处理数据执行所述多个作业以生成至少一部分处理结果的装置包括：用于针对所述多个有序分组中一个分组、同时为所述分组以及所述分组的后继分组分配计算资源的装置。

15.根据权利要求14所述的设备，还包括：当完成所述分组中的任务时释放所分配的计算资源的装置。

16.根据权利要求13所述的设备，还包括：用于将所述多个作业中的每个作业的多个任务划分为第一类型和第二类型的装置，其中第二类型任务的执行依赖于第一类型任务的输出。

17.根据权利要求15所述的设备，其中所述第一类型是Map类型任务，以及所述第二类型是Reduce类型任务。

18.根据权利要求11或12所述的设备，进一步包括：用于提供冗余任务的装置以及用于记录验证点数据的装置。

19.根据权利要求17所述的设备，其中用于记录验证点数据的装置包括以下至少一个：针对特定任务记录验证点数据的装置，以及针对特定分组中的每个任务记录验证点数据的装置。