[发明专利]一种多核处理器的数据流的处理方法及系统

说明书

本发明涉及一种多核处理器的数据流的处理方法及系统。方法包括获取多核处理器的当前任务的数据流；将所述当前任务的数据流分为前置部分和后置部分；判断所述前置部分的数据是否准备就绪和所述后置部分的数据是否准备就绪；只有前置部分的数据准备就绪后执行前置部分；之后在后置部分准备就绪之后执行后置部分。本发明所提供的一种多核处理器的数据流的处理方法及系统，克服数据流处理的局限性，并提高数据流处理的执行效率。

技术领域

本发明涉及数据处理领域，特别是涉及一种多核处理器的数据流的处理方法及系统。

背景技术

目前处理器的发展方向已经从单纯提高处理器运行速度的方向向多核处理器的方向发展，大型分布式系统也越来越普遍。传统上程序设计采用顺序执行命令的结构进行编程，在该种模式下数据往往是“静态“的，不断的对数据进行存取的操作。使得程序对于多核处理器以及大型分布式系统的支持不是特别好。而数据流编程强调以数据为驱动动力，明确定义输入以及输出的连接操作。不采用命令的方式，每当数据准备好即输入有效，相关操作(与已准备好的数据有关的指令操作)就会立即执行，所以数据流编程本质是并行的，可以很好的运行在多核处理器以及大型分布式系统。数据流编程是一种解决多核处理器的效率利用问题的高性能并行编程模型。数据流编程与传统编程语言有着明显区别，它通过数据驱动的方式执行，将需要处理的数据分配到各个核上，将数据的计算与通信相分离，通过任务调度与分配，利用软件流水的并行特性来充分的挖掘流程序中潜在的并行性，使各个核之间负载均衡。在数据流范例中，一个数据流程序的静态实例会按照它的结构被描述成一张有向图。图中节点表示计算单元，边代表数据传输路径。相邻节点间通过边传输数据，节点消耗数据进行计算，并将产生的数据输出到输入输出序列作为下一个计算单元的输入。

尽管数据流模型在并发性和同步性方面具有优势，但仍有可以改进的地方。

数据流节点任务的执行通常都是等待所有输入数据准备好之后才开始执行，而实际上节点任务的输入数据可能会分成“初始化数据或配置数据”和“核心处理数据”，或者“核心处理数据”和“校验或输出格式辅助数据”，这就使得该节点任务本质上是可以分成前后两次来完成。如果将这样的任务划分成两个计算节点任务，必将引一连串的任务绑定、调度和内存分配上的分离，因此需要在一个节点任务内部划分成前后两个部分来执行。另外，这样的分割还会让程序的逻辑结构分散、不规整，不利于阅读和调试，这是本专利的另一个收益。

发明内容

本发明的目的是提供一种多核处理器的数据流的处理方法及系统，克服数据流处理的局限性，并提高数据流处理的执行效率。

为实现上述目的，本发明提供了如下方案：

一种多核处理器的数据流的处理方法，包括：

获取多核处理器的当前的数据流节点任务；

将所述当前的数据流节点任务分为前置部分和后置部分；所述前置部分为所述当前数据流节点任务优先处理的部分；所述后置部分为所述当前数据流节点任务在所述前置部分完成之后进行的部分；

判断所述前置部分的数据是否准备就绪；

若所述前置部分的数据准备就绪，则执行前置部分；

前置部分执行完成后，判断所述后置部分的数据是否准备就绪；

若所述后置部分的数据准备就绪，则执行后置部分；

完成后置任务后，将继续获取多核处理器的下一数据流节点任务，将所述当前的数据流节点任务替换为所述下一数据流节点任务，返回所述将所述当前任务的数据流节点任务分为前置部分和后置部分的步骤，重复上述步骤直至计算任务全部完成；

若所述后置部分的数据没有准备就绪，则等待所述后置部分的数据准备就绪，再执行后置部分；

若所述前置部分的数据未准备就绪，则等待所述前置部分的数据准备就绪，再执行前置部分。