[发明专利]基于任务并行处理数据流的方法、装置、设备及存储介质

权利要求书

1.一种基于任务对数据流并行处理的方法，包括：

确定多个工作线程；

通过所述多个工作线程之中的每一个工作线程，分别从任务队列中取出待处理任务，以针对取出的待处理任务进行处理，

其中，待处理任务由数据流之中的待操作分批数据与数据流处理之中的相应操作步骤打包而成。

2.根据权利要求1所述的方法，还包括：

所述每一个工作线程将处理后得到的操作结果数据作为新的待操作分批数据与所述相应操作步骤的后续操作步骤打包成新的待处理任务，以放入任务队列。

3.根据权利要求1所述的方法，还包括：

确定单独的源线程；

通过源线程来专门循环地将数据流之中的待操作分批数据与数据流处理之中的起始操作步骤打包成待处理任务，以放入所述任务队列。

4.根据权利要求2所述的方法，其中，所述任务队列分为计算任务队列和IO任务队列，并且，所述工作线程分为计算工作线程和IO工作线程，所述计算工作线程仅从所述计算任务队列中取出待处理任务，所述IO工作线程仅从所述IO任务队列中取出待处理任务，

所述工作线程根据所述后续操作步骤是计算操作步骤还是IO操作步骤，将所述新的待处理任务放入计算任务队列或IO任务队列。

5.根据权利要求4所述的方法，其中，在数据流处理之中的起始操作步骤为数据输入步骤的情况下，所述起始操作的后续操作步骤包括用于对读取的待操作分批数据进行接续处理的操作步骤和所述数据输入步骤本身，

其中，数据输入步骤单独构成用于读取待操作分批数据的待处理任务。

6.根据权利要求1所述的方法，其中，根据对数据流并行处理的机器的物理参数，确定所述多个工作线程。

7.根据权利要求1至6中任何一项所述的方法，其中，所述数据流处理能够用计算图表征，所述计算图是由至少两个操作步骤和至少一个数据边构成的有向图，所述操作步骤表示对数据执行的某种操作，所述数据边表示数据的流向。

8.一种基于任务对数据流并行处理的装置，包括：

工作线程确定模块，用于确定多个工作线程；

任务处理模块，用于通过所述多个工作线程之中的每一个工作线程，分别从任务队列中取出待处理任务，以针对取出的待处理任务进行处理，

其中，待处理任务由数据流之中的待操作分批数据与数据流处理之中的相应操作步骤打包而成。

9.一种计算设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-7中任何一项所述的方法。

10.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至7中任一项所述的方法。