[发明专利]一种基于申威异构众核处理器的数据处理方法和系统

说明书

本发明公开了一种基于申威异构众核处理器的数据处理方法，包括：对用户请求进行分析，将用户请求分解为多个数据处理任务；对数据处理任务进行分类；确定运算核心和存储介质的使用情况；以及根据运算核心和存储介质的使用情况及数据处理任务的分类，将数据处理任务与运算核心及存储介质进行匹配。

技术领域

本发明涉及数据处理领域，尤其涉及一种基于申威异构众核处理器的数据处理方法和系统。

背景技术

申威异构众核处理器是我国自主研制的计算平台，采用片上计算阵列集群和分布式共享存储相结合的异构众核体系结构，通常使用64位自主申威指令系统。

申威异构众核处理器具有多种类型、不同数量的运算核心和存储硬件，而数据处理任务又具有多种类型。例如，“申威26010”异构众核处理器集成了4个运算核组共260个运算核心，核组间支持缓存一致性。每个核组包含一个主核和一个从核阵列。从核阵列由64个从核、阵列控制器、二级指令缓存构成。4个核组的物理空间统一编址。处理器还集成了四路128位DDR存储控制器、8通道PCIe、千兆以太网接口和JTAG接口。主核和从核的存储器访问性能、运算能力均不相同。从核阵列的整体运算性能高于主核。

因此，在数据处理过程中，需要结合运算核心和存储设备的类型以及数据分析逻辑的特性为执行模式和任务做最佳匹配，提高处理器的系统分析性能。

发明内容

本发明旨在针对申威异构众核处理器提出一种数据处理方法。

根据本发明的一个方面，提供一种基于申威异构众核处理器的数据处理方法，包括：

对用户请求进行分析，将用户请求分解为多个数据处理任务；

对数据处理任务进行分类；

确定运算核心和存储介质的使用情况；以及

根据运算核心和存储介质的使用情况及数据处理任务的分类，将数据处理任务与运算核心及存储介质进行匹配。

在本发明的一个实施例中，所述对数据处理任务进行分类包括：根据数据处理任务的并行性将数据处理任务分为A类数据处理任务、B类数据处理任务、C类数据处理任务或D类数据处理任务，其中A类数据处理任务指的是既能够进行任务并行又能够进行数据并行的任务，B类数据处理任务指的是能够进行任务并行但不能够进行数据并行的任务，C类数据处理任务指的是能够进行数据并行但不能够进行任务并行的任务，D类数据处理任务指的是不能够进行任务并行且不能够进行数据并行的数据任务。

在本发明的一个实施例中，将数据处理任务与运算核心及存储介质进行匹配还包括：对于A类数据处理任务，

判断数据处理过程中空间开销是否小于局部数据存储LDM；

如果数据处理过程中空间开销小于LDM，则将数据存放在LDM中，由从核对该数据进行处理；

如果数据处理过程中空间开销大于LDM，则将数据存放在主存中，由主核或从核对该数据进行处理。

在本发明的一个实施例中，当数据处理过程中空间开销大于LDM时，将数据存放在主存中，由主核对该数据进行处理，将数据分片，数据分片后子数据集的处理过程中空间开销小于主核的一级缓存。

在本发明的一个实施例中，当数据处理过程中空间开销大于LDM时，将数据存放在主存中，由从核对该数据进行处理，将数据分片，数据分片后子数据集的处理过程中空间开销小于LDM。

在本发明的一个实施例中，将数据处理任务与运算核心及存储介质进行匹配还包括：对于B类数据处理任务，

判断数据处理过程中空间开销是否小于LDM；

如果数据处理过程中空间开销小于LDM，则将数据存放在LDM中，由从核对该数据进行处理；以及