[发明专利]一种GPU上MapReduce的负载分配和线程结构优化方法

摘要

为实现数据密集型应用程序并降低并行编程的复杂性，MapReduce提供了一组简单的编程接口。由于采用大规模并行架构，GPU在并行计算平台中逐渐占据主导地位。然而，设计GPU上的高性能MapReduce框架却是一项具有挑战性的任务。本发明描述了一种GPU上的高性能MapReduce框架，并着眼于该框架的工作负载与线程结构两个参数，这两个参数属于该框架的一级参数。本框架采用的是一种分层搜索方法，结合了负载分配与线程结构优化并对两者进行了协调。由于基于高效而精确的采样和多项式拟合方法，本框架能够快速搜索其设计空间，速度比穷举法快860倍，且准确率可达99.7％。在实际应用程序中，本框架的性能可达到当前GPU上最先进MapReduce框架的7.7倍(平均4.04倍)。

主权项

一种基于GPU上MapReduce的负载分配和线程结构优化方法，其特征在于该方法的步骤如下：1)heir‑archical搜索方法的提出定义MapReduce框架的输入数据大小为H,将H分割为多块，每次处理一个块，定义数据块大小为D，总共需要次来处理整个数据H，用d表示每个线程的负载即工作量，则可以得出D/d＝x×y，其中x和y是线程块的数量和每个块中线程的数量，给出数据块大小D，当一个MapReduce框架的GPU使用(x，y)线程结构时，使用时间函数f(x，y)表示其运行时间，得出最优解tD＝minxy＝D/d(f(x,y))，当xy(D/d)，即线程的总数量，其中x和y是线程块的数量和每个块中线程的数量，数据块大小为D，d表示每个线程的负载即工作量，在一定范围内增加时，f(x，y)的值也连续递增，通过有效的取样，选择D以及与之相匹配的线程结构最小值[H/d]×tD；2)搜索模型的建立将[xmin,xmax]定义为线程块数量范围，将[ymin,ymax]定义为每个线程块包含线程数量范围，其中x，y都为整数，找到适当的(x，y)值就计算出最小运行时间，定义曲线l′公式曲线l′表示在数据块D固定情况下x和y不同组合的执行时间，定义l为曲面Sd和Sp的交线，其中Sd是满足x×y＝D/d的线结构设置，Sp是St在x‑y坐标平面上的投影，St是GPU上特定MapReduce应用程序的时间函数f(x，y),其中相交线可以用来获得实际x和y值，Sd和Sp相互垂直，l是l′在平面Sp上的投影，定义点集P为所有在Sp上离l最近的所有离散点的集合，去更好的配置线性结构，引入附加的对角线，使用生成的时间函数f(x，y)通过等式(2)解决优化问题，迭代对角线上的点，选出所有沿l分布的最近离散点；定义工作量分配和线程结构优化问题3)最优性能下数据块大小和线性结构的决策方法一个多项式拟合方法决定时间函数的阶，采样数据被反复用于计算多项式系数直到足够的精度值，时间函数生成后，使用搜索方法找到最优的数据块大小和线程结构，具体方法如 下：●确定x和y在多项式时间函数f(x，y)中的阶，即Ox，Oy，通过采样MapReduce应用程序执行时间的方法，函数x_Execute负责将采样MapReduce应用程序下的运行时间存储在取样列表xp_list中，通过Order函数计算出x和y对应的最优阶数，确定多项式阶的方法应保证阶数足够高以保持足够的信号信息，得到Ox和Oy后，计算出多项式系数的个数pn；●通过比较时间函数f(x,y)中的系数所构成的表的稳定性和阈值的大小实现迭代过程，如果系数表的稳定性大于阈值，则继续进行循环迭代，以逐渐细化多项式时间函数，不断产生新的时间函数，并结合循环迭代产生精度最高的时间函数，直到达到指定的稳定性阀值STAth；●使用生成的时间函数f(x，y)通过等式(2)解决优化问题，迭代对角线上的点，循环迭代每条曲线上的点，将这些点存储在曲线点列表CPL中，将曲线上的最低点收集起来，将当前曲线的最低点存储到一个对角点列表DPL中，在DPL中的点，满足最小的H/D×tD值就对应最佳的数据块大小和线程结构，因此，就找到满足最优解决方案的数据块大小和线程结构。