[发明专利]数据存取方法及装置、系统、AI加速器

说明书

一种数据存取方法及装置、系统、AI加速器。所述方法包括：读取内存中存储的待计算数据；基于处理阵列中乘法器的数量，将所读取的数据写入至预设缓存块组中，使得各个缓存块组同一写入地址的数据分别对应内存中的不同读取地址，且每个缓存块组存储的数据完全不同；所述处理阵列从所述预设缓存块组中读取所述待计算数据，以用于并行计算。采用上述方案，可以提高AI加速器的整体性能。

技术领域

本发明涉及AI加速技术领域，具体涉及一种数据存取方法及装置、系统、AI加速器。

背景技术

如今，人工智能(Artificial Intelligence，AI)技术已经越来越多地应用到人们的日常生活当中，比如人脸识别、图像分割、语音识别、语音合成等等。AI技术的发展离不开AI算法的进步。AI算法落地所必需的载体为芯片，越来越复杂的AI算法，对芯片提出了越来越高的性能要求，主要体现就是大幅度提升的计算能力。以往基于传统的中央处理器(Central Processing Unit，CPU)和图形处理器(Graphics Processing Unit，GPU)的系统级(System on Chip，SOC)芯片已经很难满足算法需求，带有AI加速处理器的异构SOC芯片正成为主要研究方向。

为了提升算力，AI加速器的主要运算单元通常是一个包含多个乘法器的处理(Process Engine，PE)阵列，以进行算法要求的各种大规模并行计算，如神经网络里的卷积运算、矩阵运算等等。乘法器的数量越多，理论算力越高。但由于芯片面积和功耗的限制，乘法器数量也不可能无限制增加，因此，如何充分利用这些有限数量的乘法器，就成了提升芯片性能的关键。

然而，现有AI加速器的整体性能较差，无法满足用户对AI加速器整体性能的需求。

发明内容

本发明要解决的问题是：如何提高AI加速器的整体性能。

为解决上述问题，本发明实施例提供了一种数据存取方法，所述方法包括：读取内存中存储的待计算数据；基于处理阵列中乘法器的数量，将所读取的数据写入至预设缓存块组中，使得各个缓存块组同一写入地址的数据分别对应内存中的不同读取地址，且每个缓存块组存储的数据完全不同；所述处理阵列从所述预设缓存块组中读取所述待计算数据，以用于并行计算。

本发明实施例还提供了一种数据存取装置，所述装置包括：缓存块组、配置单元、读取控制单元及写入控制单元；读取控制单元，适于读取内存中存储的待计算数据；配置单元，适于基于处理阵列中乘法器的数量，确定地址分配方式、交互数据位宽B以及基本数据单元位宽U，并将其输入至所述写入控制单元，以控制所述写入控制单元将所读取的数据写入至预设缓存块组中；通过所述地址分配方式使得各个缓存块组同一写入地址的数据分别对应内存中的不同读取地址，且每个缓存块组存储的数据完全不同；写入控制单元，适于将所读取的数据写入至预设缓存块组中；其中，所述处理阵列适于从所述预设缓存块组中读取所述待计算数据，以用于并行计算。

本发明实施例还提供了一种AI加速器，所述AI加速器包括上述的数据存取装置。

本发明实施例还提供了一种数据存取系统，所述系统包括：内存，用于存储待计算数据；上述的AI加速器，用于从内存中读取待计算数据并存在预设缓存块组中；所述AI加速器还包括PE阵列；所述PE阵列用于从所述预设缓存块组中读取数据以进行并行计算。

与现有技术相比，本发明实施例的技术方案具有以下优点：