[发明专利]一种自适应的动态流水线并行方法

说明书

本发明属于计算机技术领域，具体涉及一种自适应的动态流水线并行方法。将一个应用划分为多个功能阶段，各个阶段以相互衔接的并行方式工作，并通过各个阶段间的共享缓冲区交互中间结果；其中，各流水线阶段的线程数根据各个阶段现有的工作负载情况进行动态地调整：如果某一个流水线阶段的工作负载比较重，此阶段的线程分配数量上升，保证处于该阶段的负载能被及时处理；反之，如果某一阶段的工作负载较低，此阶段分配的线程数就下调，避免负载不足导致的线程空闲；为适应不同类型输入，对流水线进行划分：根据负载任务分为细粒度和粗粒度。本发明方法能克服算法在并行化过程中存在的各种固有限制，并利用底层多核硬件的计算资源，提高计算效率。

技术领域

本发明属于计算机技术领域，具体涉及一种自适应的动态流水线并行方法。

背景技术

在大数据时代，计算机系统处理的数据量越来越大，实时性要求也越来越高。随着多核乃至众核的普及，多核处理器已经成为各种云平台或数据中心的主流硬件。因此，越来越多的研究者试图通过并行化算法，利用多核平台提供的计算资源加速算法的处理速度，实现对数据的实时处理。这些不同的算法，处理的对象和计算的过程虽然有很多不同，但并行化的过程中存在一些相似的模式。多媒体服务是大数据时代的典型应用，而多媒体检索应用算法是多媒体相关数据服务的基础，有着广泛的应用前景。我们以多媒体检索应用算法的并行化为例，阐述算法并行化过程中的典型问题。

多媒体检索应用需要对大量图片进行分析和处理，因此已有多媒体算法都面临十分严重的实时处理的性能挑战。尽管多媒体检索算法已有很多并行加速方面的研究，但这些设计并没有考虑多媒体检索算法在并行设计时存在的不确定的时间分配问题以及各个方面负载不均衡等问题，并行设计并没有充分利用多核计算资源，也没能取得较好的可扩展并行加速效果。

负载均衡对并行设计的加速效果和可扩展性有至关重要的影响，是设计并行程序需要解决的最重要的问题之一。多媒体检索应用面临的主要问题包括：

负载不均衡挑战：图像级别不均衡是负载不均衡的主要原因之一。导致这种不均衡的主要原因是因为图像的内在特性千差万别，导致不同图像中存在的特征点数目存在较大的差异。一些复杂图像可能拥有上千的特征点，而另一些相对简单的图像可能只包含几十个特征点。同时，即使图像中包含有相同数目的特征点，因为不同特征点所处的层级不同，不同特征点处理过程中所需的时间也存在差异，这种不均衡依然存在。因此，不论采用图像级别并行还是特征点级别并行来加速多媒体检索算法，都存在负载不均衡的问题，从而很难获得理想的加速效果和可扩展性。

规模级别和块级别并行的负载不均衡：规模级别的并行限制同样是由各自层面的负载不均衡导致的。此外，为利用规模层级的并行性或块级别的并行性，在并行设计的过程中不得不引入额外的同步，以保证结果的正确性。以SIFT算法的块级别并行为例，高斯金字塔（GaussianPyramid）的每一层级建立后，就需要一次同步，这是因为每一个高斯层级的计算结果都会用到其他块的计算结果。因此，频繁的同步是影响性能的另一个重要原因。

流水线并行的限制：由于多媒体检索算法的基本流程是将特征点均等地向下传递，因此流水线并行在针对多媒体检索算法并行的过程中是一种可行的考虑。但是，不同阶段间不确定的运行时间分布导致流水线并行设计过程中计算资源分配十分困难。此外，在把应用划分成不同的功能单元时，由于涉及应用的逻辑和不同功能单元间的数据交互，很难将流水线划分为太多阶段。当物理硬件节点可用的硬件核心数上升时，流水线并行设计也很难取得可扩展的性能。

根据多媒体检索算法的并行化过程，本发明提出了一种自适应的动态流水线并行方法。

发明内容

本发明的目的在于克服一类算法在并行化过程中存在的各种固有限制，提供一种能够充分利用底层多核硬件计算资源的自适应的动态流水线并行方法。