[发明专利]多核AI加速处理器的数据处理方法及结构

说明书

本发明的多核AI加速处理器的数据处理方法及结构，其中，多核AI加速处理器具有多个核心，每个核心具有片上高速缓存；核心之间设有核心总线，各个核心分别接入核心总线；核心之间数据传递方式为RMA广播通信，数据时，先获取输入数据，包括输入特征、输入权重；对输入特征或输入权重择一设置共享标记作为共享数据；依据核心数量将共享数据拆分成多个共享数据块，将共享数据分给AI处理器的多个核心，每个核心从主存中获取共享数据块并广播给所有核心。本发明的方法，在多个核心间设置通信装置，通过RMA广播的核间通信方式，使得不同核心共享的数据可以分布式存放在不同核心的高速缓存中，进行计算时，再从各核获取共享数据。

技术领域

本发明涉及一种处理器的数据处理方法，特别涉及一种多核AI加速处理器的数据处理方法及结构。

背景技术

近年来，深度学习飞速发展，模型逐渐增大，对计算性能的要求越来越高。因此，开发高性能、高效率的计算算子，成为技术创新的热点。深度学习算子优化，需要针对具体硬件体系结构设计，结合软件优化方法，将算子的计算需求与硬件相匹配，才能达到较高的计算效率。

为了在获得高计算性能的情况下减少功耗，当前的AI加速处理器多采用多核设计。多个计算核心并行的处理数据，其算子的设计方法，根据划分的数据分为两类，以卷积计算为例，图1展示了以下两类方法：

1.对输入特征图进行数据划分，如图1a所示。该类方法将输入特征图片平均划分到多个核心处理，每个核心都需要读取整个输入权重。该类方法适用于输入权重比较小，输入特征图比较大的情况。

2.对输入权重进行数据划分，如图1b所示。该类方法将输入权重平均划分到多个核心处理，每个核心都需要读取整个输入特征图。该类方法适用于输入权重比较大，输入特征图比较小的情况。

以上两种优化设计方法中，多个核心独立并行处理，分别计算输出结果的一部分，共同完成最终的计算任务。

上述两种算子优化设计中，不同的计算核心均需要重复从内存中读取大量数据。第一类方法需要重复读取输入权重数据，而第二类方法则需要重复读取输入特征图数据。这两类方法主要有以下两方面不足：

1.现有结构的AI加速处理器具有多个计算核心，每个核心的高速缓存都比较小，不能容纳整个待处理的输入特征图或者输入权重，因而，输入特征图和输入权重存储在主存中，在计算过程中均需要不断的从主存中读取大量数据，而主存的延迟比较高，限制了整体的计算效率。

2.不论是哪一类方法，均存在多个核心重复读取相同数据的情况。重复读取加剧了访存瓶颈问题，这会使得多个核心竞争有限的主存带宽资源，导致部分核心不能及时的获取到需要的数据，降低计算效率。

发明内容

本发明提供一种多核AI加速处理器的数据处理方法，在多个核心间设置通信装置，通过RMA广播的核间通信方式，使得不同核心共享的数据可以分布式存放在不同核心的高速缓存中，进行计算时，再从各核获取共享数据。由于共享数据只需要从主存中读取一次，减少了主存的数据访问量，也避免了带宽竞争，极大降低了主存瓶颈的影响；由于芯片的片上RMA广播通信带宽远高于内存带宽，而且广播操作可以异步进行，与核心的计算相重叠，极大降低了访存延迟，加速了整体的计算过程。

本发明所述的多核AI加速处理器的数据处理方法，其中，多核AI加速处理器具有多个核心，每个核心具有片上高速缓存；核心之间设有核心总线，各个核心分别接入核心总线；核心之间数据传递方式为RMA广播通信，数据处理依序包括如下步骤：

S1、获取输入数据，所述输入数据包括：输入特征、输入权重；

S2、对输入特征或输入权重择一设置共享标记，作为共享数据；

S3、依据多核AI加速处理器的核心数量，将输入特征/输入权重拆分成多个输入特征块/输入权重块，将共享数据拆分成多个共享数据块，并对共享数据块编序；