[发明专利]面向chiplet互连的神经网络芯片层切换映射方法

说明书

本发明提供了一种面向chiplet互连的神经网络芯片层切换映射方法及系统，基于神经网络模型与互连拓扑图，提取所述神经网络模型层切换通信数据流；计算每层神经网络层在不同片间并行度方案(P、PK、K)下的层切换片间通信量，提取片间通信量最小时层切换通信数据流所对应的层切换映射方案。本发明提供的面向chiplet互连的神经网络芯片层切换映射方法及系统，基于chiplet互连架构，对神经网络芯片的层切换数据流进行分析，进而得到最优的神经网络芯片层切换映射方案；算法复杂度为O(n)级别，在ResNet‑50模型上，相比于仅考虑层内通信的方案，降低了约10.29％能量延时积(EDP)。

技术领域

本发明涉及神经网络芯片技术领域的一种映射技术，具体地，涉及一种面向chiplet互连的神经网络芯片层切换映射方法及系统。同时提供了一种相应的终端及计算机可读存储介质。

背景技术

近年来，深度神经网络(Deep Neural Network，DNN)，尤其是卷积神经网络(Convolutional Neural Network，CNN)在包括人脸识别、语言识别和自动驾驶等多个领域中取得了出色的表现，并成功应用在各种人工智能设备上。神经网络芯片主要通过挖掘算法中的并行性提升性能。

然而，随着深度学习的飞速发展，神经网络模型层数不断增加，计算量和参数量也有了大幅增长。不断增长的计算资源和存储资源也导致芯片面积增大，制造成本大幅提升。目前，图形处理器(Graphic Processing Unit，GPU)和其他商用深度学习芯片面积已接近工艺极限。Chiplet技术将系统级芯片(System on Chip，SoC)划分为多个“芯粒”，并通过2.5D或3D封装等高级封装方式封装为一个大芯片。由于每个Chiplet在面积上相比传统SoC更小，因此在成本和良率上有明显的优势，成为延续摩尔定律的重要解决方案之一。

然而，现有算法大多忽略了两层神经网络层切换过程中的通信需求，因此难以得到系统性能最优映射方案。

目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。

发明内容

本发明针对现有技术中存在的上述不足，提供了一种面向chiplet互连的神经网络芯片层切换映射方法及系统。同时提供了一种相应的终端及计算机可读存储介质。

根据本发明的一个方面，提供了一种面向chiplet互连的神经网络芯片层切换映射方法，包括：

遍历神经网络芯片中的每一个层切换阶段，对于每一次层切换，基于所需映射的神经网络芯片的互连拓扑结构，提取所述神经网络芯片第l-1层到第l层的层切换通信数据流；

遍历所有可能的层切换通信数据流，计算层切换时片间通信量；

遍历所述神经网络芯片中的每一个层切换阶段，提取片间通信量最小时的层切换通信数据流所对应的层切换映射方案，完成神经网络芯片层切换映射。

可选地，所述提取所述神经网络芯片第l-1层到第l层的层切换通信数据流，包括：

所述神经网络芯片层映射片间并行度来源于P、PK和K三个维度，其中，P表示输出特征图的宽维度，K表示输出特征图通道维度，PK表示输出特征图的宽维度结合输出特征图通道维度；

基于所述神经网络芯片的互连拓扑结构和所述神经网络芯片层映射片间并行度约束，使得所述神经网络芯片层切换通信发生在片间；

基于所述神经网络芯片层映射片间并行度的3种配置，依据所述神经网络芯片第l-1层和第l层的并行度来源设置，得到9种所述神经网络芯片层切换通信数据流模式；