[发明专利]用于联邦学习的异构处理系统、处理器及任务处理方法

说明书

本说明书的实施例提供一种异构处理系统。异构处理系统包括主处理设备以及从处理设备。从处理设备包括接口模块、任务管理模块和并行计算架构。并行计算架构包括由多个处理单元组成的分层结构，各个处理单元是具备独立任务处理能力的最小处理单元。接口模块从主处理设备接收任务处理源数据和任务配置数据。任务管理模块根据任务配置数据，将任务处理源数据分发给各个处理单元并行处理，得到任务处理结果数据并提供给主处理设备。利用该异构处理系统，可以实现高效的任务并行处理。该异构处理系统适合应用于联邦学习场景。

技术领域

本说明书实施例通常涉及异构计算领域，尤其涉及用于联邦学习的异构处理系统、处理器及任务处理方法。

背景技术

异构计算(Heterogeneous computer)技术能高效地获取高性能计算能力、可扩展性好、计算资源利用率高、发展潜力巨大，目前已经成为并行/分布计算领域的热点技术。异构计算主要是指使用不同体系架构的计算单元组成系统的计算方式。

常见的计算单元包括CPU、GPU、DSP、ASIC、FPGA等。专用计算单元虽然工作频率较低，但是具有更多的并行计算能力，总体性能/功耗比都很高，适合应用于高性能大数据处理领域。CPU的设计让其比较擅长处理不规则数据结构和不可预测的存取模式，这类程序任务具有复杂的指令调用、循环、分支、逻辑判断以及执行等步骤。而FPGA等计算单元擅长处理规则数据结构和可预测存取模式，利用异构计算可以实现整体性能最佳化。

采用CPU+GPU异构架构的高性能计算系统的能耗巨大，使用更低的功耗来实现异构计算成为高性能计算发展亟待解决的问题。

发明内容

鉴于上述，本说明书的实施例提供一种用于联邦学习的异构处理系统、处理器以及任务处理方法。利用该异构处理系统、处理器和任务处理方法，可以实现高效的任务并行处理。

根据本说明书的实施例的一个方面，提供一种第一处理器，包括：接口模块，被配置为从外部设备接收任务处理源数据和任务配置数据，以及向外部设备发送任务处理结果数据；并行计算架构，所述并行计算架构包括由多个处理单元组成的分层结构，各个处理单元是具备独立任务处理能力的最小处理单元；以及任务管理模块，被配置为根据所述任务配置数据，将所述任务处理源数据分发给所述并行计算架构中的各个处理单元来并行处理，得到任务处理结果数据，以及将所述任务处理结果数据提供给所述外部设备。

可选地，在上述方面的一个示例中，所述分层架构可以是嵌套式分层结构。

可选地，在上述方面的一个示例中，所述并行计算架构的嵌套式分层结构可以是可配置的嵌套式分层结构。

可选地，在上述方面的一个示例中，所述并行计算架构的嵌套式分层结构可以根据任务处理算法以及第一处理器的内部计算资源来配置。

可选地，在上述方面的一个示例中，各个处理单元可以采用运算流水线设计。

可选地，在上述方面的一个示例中，所述运算流水线的运算级数可以根据所述并行计算架构的分层结构的层次以及处理单元的个数来配置。

可选地，在上述方面的一个示例中，各个处理单元的运算流水线的每级运算具备循环运算功能。

可选地，在上述方面的一个示例中，所述接口模块包括高速接口模块。

可选地，在上述方面的一个示例中，所述高速接口模块采用DMA方式或PIO方式进行数据传输。

可选地，在上述方面的一个示例中，所述并行计算架构的并行处理任务数是可配置的。

可选地，在上述方面的一个示例中，所述并行计算架构的单任务可支持最大数据量是可配置的。