[发明专利]一种面向多核忆阻器存算一体平台的卷积算子映射方法

说明书

本发明公开了一种面向多核忆阻器存算一体平台的卷积算子映射方法，涉及忆阻器存算一体平台技术领域。同时考虑输入数据的局部性及核间通信开销，并将总的通信代价作为优化目标，最终得到整体通信开销较小的映射方案。本发明所提出的方法综合考虑了直接读写存储器带来的通信代价与多核同步所带来的通信代价，可有效重复利用输入数据，发挥忆阻器阵列的并行性，得到通信代价较小的映射方案。本发明所提出的方法实现较为简单，可移植性强，可添加于神经网络编译器后端执行，完成面向忆阻器存算一体平台的卷积算子映射。

技术领域

本发明涉及忆阻器存算一体平台技术领域，尤其涉及一种面向多核忆阻器存算一体平台的卷积算子映射方法。

背景技术

随着神经网络规模以及算法复杂度的增加，以计算为中心的冯诺依曼架构受到了内存带宽与数据移动开销的限制，于是研究人员提出了存内计算这一理念，与传统冯诺依曼架构不同，存内计算以数据为中心，将计算逻辑放置在内存中，或直接利用内存本身的特性进行计算，从而大大减少了内核与外部存储的通信开销，特别适用于深度学习神经网络这种大数据量并行且存在大规模并行的应用场景，因此出现了采用忆阻器等非易失性存储器(Non-volatile memory，NVM)为计算单元的存算一体化的加速器。这类加速器有效地解决了带宽的瓶颈，并且具有功耗低速度快的特点。

忆阻器存储器(Resistive Random Access Memory，ReRAM)是一种泄露功耗几乎为0的非易失性存储器，其以阻值状态存储信息，这种阻式存储原理可以提供固有的计算能力，因此可以在同一个物理单元地址同时集成数据存储与数据处理功能。作为存储器前沿技术，ReRAM未来预期，可以替代目前的Flash RAM，并且具有成本更低,性能更突出的优势。ReRAM存储芯片的能耗可达到闪存的1/20，数据擦写上限是后者的10倍。此外，非易失性可以让数据直接存储在片上系统中，实现即时开机/关机，而不需要额外的片外存储器。ReRAM支持多种存内运算操作，矩阵向量乘(Matrix-Vector Multiplication,MVM)、搜索、位运算等，而卷积神经网络中存在大量涉及MVM操作的卷积运算，运算量可达整个网络运算量的95％以上，这得益于ReRAM本身的特性，ReRAM可将矩阵向量乘运算的复杂度由o()降至o(1)，因此，基于ReRAM的加速器可以显著提高神经网络的运算效率。这些优良特性使得研究人员实现了各种各样基于ReRAM的神经网络加速器。在众多存内计算设计方案中，与基于传统CMOS的设计相比，ReRAM具有明显优势。

随着对深度学习研究的深入，出现了许多深度学习开发软件开发框架，如TensorFlow、PyTorch等，这些框架简化了深度学习模型的开发。与最终相对统一的前端不同，在应用后端的硬件类型多种多样，研究者们为高效地映射深度学习模型做了许多努力，如在通用处理器上高度优化地线性代数库MKL与cuBLAS，以及面向GPU的TensorRT其支持图形优化，且有大量优化的内核。依赖于库的缺点是，库的开发落后于深度学习模型的发展，因此无法快速在后端应用新的模型。

为解决上述问题，业界提出了许多深度学习编译器，可以将深度学习模型快速映射到后端硬件，如TVM、Tensor Comprehension、XLA等。这些编译器的技术细节各不相同，但基本流程大致相似，它们均以前端深度学习开发框架所定义的模型作为输入，各种后端硬件的有效代码作为输出，采用多层IR，在转换时对模型和所生成的代码做进行了高度优化。