[发明专利]一种面向多核集群的数据流编译优化方法

权利要求书

1.一种面向多核集群的数据流编译优化方法，其特征在于，包括以下步骤：

确定计算任务与多核集群计算节点以及处理核映射的任务划分与调度步骤；所述的任务划分与调度步骤具体为：首先，对同步数据流图进行进程级任务划分，确定每个计算任务分配到的对应集群节点；其次，对集群节点内的同步数据流图中的任务进行线程级任务划分，确定每个计算任务分配到的对应集群节点内的处理核；

根据任务划分与调度结果构造集群节点间和集群节点内核间的流水线调度的层次流水线调度步骤；所述的层次流水线调度步骤具体为：首先，对集群节点间采用异步流水线调度，其次，对集群节点内部采用同步流水线调度；

根据多核处理器的结构特性、集群节点间的通信情况和数据流程序在多核处理器上的执行情况做缓存优化步骤；所述缓存优化步骤具体过程为：首先，采用cache line填充机制消除集群节点内同步软件流水各阶段间同步造成的伪共享；其次，采用稳态扩展技术消除计算单元数据传输造成的伪共享。

2.根据权利要求1所述的面向多核集群的数据流编译优化方法，其特征在于，所述任务划分通过将其转化为图划分问题，并根据进程级任务划分和线程级任务划分的目标差异分别利用Group划分策略和复制分裂策略对其进行求解而得到。

3.根据权利要求2所述的面向多核集群的数据流编译优化方法，其特征在于，所述进程级任务划分采用Group划分策略步骤具体为：

预处理阶段，将多个计算单元融合成一个group，降低了group内单个计算单元与其他group中的计算单元通信边的数目；

粗粒度阶段，将多个相邻的group融合成一个；

初始划分阶段，将group映射到集群计算节点上，同时确定计算节点与集群节点之间的映射；

细粒度调整阶段，将初始划分完各划分上的边界节点进行调优，减少通信开销。

4.根据权利要求1所述的面向多核集群的数据流编译优化方法，其特征在于，所述线程级任务划分步骤具体为：

首先，采用多层K路图划分算法对各个集群节点内部的计算单元进行初始划分；

其次，采用复制分裂算法对负载大的计算单元进行分裂，降低计算单元的粒度；

最后，重新使用多层K路图划分算法对经过分裂后的图进行划分，保证处理核上的负载均衡和良好的局部性。

5.根据权利要求1至4中任一所述的面向多核集群的数据流编译优化方法，其特征在于，所述进行的异步流水线调度的方法是采用生产者和消费者模型将进程级划分的结果随机分配到集群的各个节点上。

6.根据权利要求1至4中任一所述的面向多核集群的数据流编译优化方法，其特征在于，所述同步流水线调度的具体过程如下：

首先，对进程内部的数据流图中的计算结点进行拓扑排序，形成拓扑序列；

其次，对拓扑序列中的每个计算节点将其结点的阶段号初始化为0，然后，判断其与前驱结点是否在同一个集群节点上，如果在同一个集群节点上，判断其与前驱结点是否在同一个处理核上，如果在同一个处理核上，那么它与前驱节点的阶段相同，如果不在同一个处理核上，那么其阶段号比前驱结点的阶段号大1，如果不在同一个集群节点上，那么其阶段号与该前驱节点无关，通过遍历计算节点的拓扑序列，对所有结点进行阶段号赋值，构造集群节点内部的同步流水线调度表。

7.根据权利要求5所述的面向多核集群的数据流编译优化方法，其特征在于，所述同步流水线调度的具体过程如下：

首先，对进程内部的数据流图中的计算结点进行拓扑排序，形成拓扑序列；

其次，对拓扑序列中的每个计算节点将其结点的阶段号初始化为0，然后，判断其与前驱结点是否在同一个集群节点上，如果在同一个集群节点上，判断其与前驱结点是否在同一个处理核上，如果在同一个处理核上，那么它与前驱节点的阶段相同，如果不在同一个处理核上，那么其阶段号比前驱结点的阶段号大1，如果不在同一个集群节点上，那么其阶段号与该前驱节点无关，通过遍历计算节点的拓扑序列，对所有结点进行阶段号赋值，构造集群节点内部的同步流水线调度表。