[发明专利]基于CPU多线程与GPU多粒度并行及协同优化的方法

说明书

本发明涉及一种针对大数据任务处理的基于CPU多线程与GPU多粒度并行及协同优化的方法，首先创建主线程，根据已知参数计算CPU_GPU最佳任务划分。启动n个线程，其中1个负责调度GPU，其余负责执行CPU计算任务。然后采用内存池技术降低数据从磁盘读入内存的通信开销；采用哈希表和信息摘要解决多线程访存中资源竞争的问题；采用流水线技术隐藏数据从内存读入CPU的通信时间。在主机端，CPU采用多核多线程方式执行分配到的任务；在设备端，GPU采用CUDA并行方式执行分配到的任务。全部任务完成后，主线程收回控制权直至退出。本发明可以在大数据任务处理中取得明显的加速效果，降低任务总的处理时间，提高处理效率。

技术领域

本发明涉及计算机学科中的CPU_GPU多粒度并行、负载均衡、存储与通信优化、CPU多线程和大数据处理等，尤其是基于CPU多线程与GPU多粒度并行及协同优化的方法。

背景技术

在进行大数据任务处理时，由于大规模的密集型数据、处理时间长，有必要对大数据任务处理进行加速优化。近年来，随着硬件的发展，在计算机架构中，多核/众核处理器已成为提高计算速度的主要方式。

自NVIDIA公司在1999年发布GeForce 256图形处理芯片提出GPU的概念以来，GPU因其强大的计算能力、灵活的编程能力和低功耗的特点，成为当前高性能计算系统中加速部件的主要选择之一，被广泛应用于计算密集型程序。在众多高性能计算平台中，多核CPU与众核GPU组合形成的异构计算系统具有很大的发展潜力。现有的CPU_GPU异构平台主要采用主-从方式运行，即CPU作为主机端，负责执行控制逻辑和事务处理等串行计算；而GPU作为协处理器或设备端，负责执行计算密度高、逻辑分支简单的大规模数据并行计算。

由于CPU和GPU执行特性的差异，某些任务可能在CPU上执行得快但在GPU上执行得慢，而另外一些任务可能在GPU上执行得快但在CPU上执行得慢，所以合理的任务划分策略和实现负载均衡显得尤为重要。

CPU与GPU之间通过PCI-E总线连接，GPU仍然作为计算节点的外部设备，CPU和GPU之间的数据传输必须在CPU的控制下显式地进行。CPU和GPU之间的数据传输以及计算模块与存储模块的通信开销是制约性能的瓶颈，所以有必要对通信开销进行优化以提高CPU多线程与GPU协同工作的效率。

针对大数据任务处理，由于待处理的任务数据量庞大，在CPU端对内存中大块数据的访问会消耗执行的时间，因此有必要采取相应的策略来优化主存储；而在GPU端，存储器的带宽利用率是制约GPU并行程序性能的重要因素，因此有必要进行GPU存储器访问优化。

发明内容

本发明主要是解决现有技术所存在的技术问题；提供了一种从任务划分和负载均衡、通信开销、主存储优化、GPU访存优化四个方面来实现CPU_GPU多粒度并行及协同优化，明显地缩短了大数据任务处理的执行时间的针对大数据任务处理的基于CPU多线程与GPU多粒度并行及协同优化的方法。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

本发明基于以下定义：

任务划分及负载均衡：根据获取的任务，假设CPU和GPU的单位任务计算时间，同时考虑CPU多线程的开销，计算CPU和GPU间的最优任务划分并实现负载均衡。

通信开销优化：采用内存池技术减少数据从磁盘读入内存的通信时间，采用流水线技术隐藏CPU从内存读入数据的时间，以实现通信开销的优化。

GPU访存优化：合理的全局存储器的合并访问策略以及合理的共享存储器、常量存储器、纹理存储器使用策略可以提高GPU访存效率。

主存储优化：利用哈希表来标识每个数据块在内存中的位置以降低查找数据块的时间复杂度，利用更新数据块信息摘要的方式以避免多线程同时访问同一数据块造成资源冲突。