[发明专利]一种基于异构众核处理器的算法并行处理方法及系统

说明书

本发明涉及一种基于异构众核处理器的算法并行处理方法及系统，以串行程序中运行耗时大的代码段作为并行计算的对象，根据其特点进行任务的划分，确定主核与从核阵列的任务分工，将耗时的计算交给从核阵列执行；每个从核主动从主存中获取任务和计算所用到的数据，并返回计算结果给主核，主核采用异步串行方式对主存数据进行更新，以避免数据依赖引起数据读写错误；同时，针对主从核通信的时间消耗问题，通过将单数据项封装在结构体中实现数据打包，并设置主核的数据主存地址256B对界，实现单次数据拷贝粒度不小于256B，以最大化地利用单核组的带宽，优化数据传输性能，在从核执行计算过程中，使用双缓冲机制实现通信时间的消耗隐藏，提高并行效率。

技术领域

本发明涉及并行计算技术领域，并且更具体地，涉及一种基于异构众核处理器的算法并行处理方法及系统。

背景技术

在高性能处理器领域，受到功耗、互联及复杂度三大因素的限制，处理器计算性能的增长速度已经无法满足摩尔定律，异构并行的加速方式成为新的思考方向。加之片上微结构和低功耗技术的不断进步，异构众核处理器逐渐成为处理器设计的发展趋势。因此，使用异构众核处理器来加速算法执行效率也成为重要的研究领域。

完全由我国自主研发、计算能力居直接前列的神威·太湖之光超级计算机，搭载“申威26010”异构众核处理器，拥有超过10亿亿次量级的峰值运算速度，而且在资源调度、编程开发方面也提供了配套研发的编程接口和作业管理系统，成为我国科研事业中科学计算的强有力支撑。其采用独特的主从核异构结构，每个众核处理器具有4个核组(CoreGroups,CG)，这4个核组通过片上网络连接，提供高达3TFlops左右的浮点峰值运算能力。每个核组包含一个主核，称为管理单元(Manage Processing Elements,MPE)和64个从核，称为计算处理单元(Computing Processing Elements,CPE)。主核和从核均采用了64-bitRISC指令集，每个核心均支持单线程，工作频率为1.45GHz，支持256位向量寄存器计算。但二者在微架构存在差别，因此在实际应用中分别承担不同的任务。其中，主核可以运行于用户态和系统态，支持函数中断、乱序执行，因此适用于作业调度、通信管理等任务；从核仅支持用户态模式，不支持函数中断，其设计目的在于，在有限的芯片空间上，以尽可能精简的微架构，聚合更多的核心以提供尽可能高的浮点运算能力。在存储架构上，每个主核分别含有32KB的一级数据缓存和以及指令缓存，以及256KB的二级数据、指令缓存；而每个从核含有一个私有的局部存储空间(Local Data Memory,LDM)，没有数据缓存，但是有16KB的一级指令缓存。系统提供了并行计算接口，用户在不同处理器之间进行消息传递，实现节点层次的并行编程；在处理器内部，用户可以使用并行编程标准(Message Passing Interface,MPI)进行核组间的并行编程；在核组内部，用户可以使用多线程库实现从核级别的并行；在从核内部，用户可以使用SIMD intrinsics库，实现指令级别的并行编程。系统也提供了数据传输接口，便于从核阵列访问主存。

对于现有的算法，受文件大小等限制，使用传统的串行算法对文件进行处理时，大文件的处理效率是比较低的，无法满足相关行业的压缩需求。因此，需要一种基于异构众核处理器的算法并行处理方法。

发明内容

本发明提出一种基于异构众核处理器的算法并行处理方法及系统，以解决如何快速地进行算法运算的问题。

为了解决上述问题，根据本发明的一个方面，提供了一种基于异构众核处理器的算法并行处理方法，所述方法包括：

对串行的目标算法以代码段的形式进行分析，确定每个代码段的运行耗时占比，并将运行耗时占比大于预设运行耗时占比阈值的代码段移植到目标异构众核处理器的每个核组的从核，由从核执行运算；

将待处理文件的数据以预设的字节数为单位进行数据块的划分，并基于负载均衡将所有的数据块均分至每个核组的从核；