[发明专利]一种面向深度神经网络的芯片布图规划方法

说明书

本发明公开了一种面向深度神经网络的芯片布图规划方法，首先，估计神经网络每个核的面积；其次，根据实际数据和核库，计算参数h’、w’、c’和k’；并对其进行优化，得到神经网络中每一层核对应的符合预设条件的较好的矩形模块形状；然后，采用核贪婪排序算法和核适配增长算法，对矩形模块进行布局，迭代地增加核对应的矩形模块，使得下一个将被布局的模块被放置到使布图规划目标函数最优的地方，直到所有核被分配完，从而获得最终布局方案。本发明能在有限的资源下，有效提高现有深度神经网络算力。

技术领域

本发明属于人工智能领域，具体涉及一种面向深度神经网络的芯片布图规划方法。

背景技术

深度神经网络的实现依赖于大量的计算资源和存储资源，这对神经网络实现带来了诸多挑战。CPU有限的计算单元和串行的执行方式不能提供足够的计算能力，GPU具有并行处理的优点，虽可保证算力，但其功耗大，只能应用于服务器端。随着人工智能逐渐向深度学习领域发展，神经网络的深度不断加深，数据量也呈现几何级增长速度，海量的数据对芯片的计算能力也随之提出了更高的要求，通过改进硬件性能和芯片架构研发人工智能专用芯片成为行业重要的努力方向。

晶圆级引擎CerebrasWSE是目前史上最大的人工智能芯片，与其他芯片相比，它包含了更多的个核心(约400000个，排列成633×633的正方形)，提供18Gigabytes的片上内存，内存带宽高达9Petabytes/s。它可以在较低的延迟和较少的功耗下实现快速、灵活的计算。WSE的计算资源和存储资源有限，在有限的资源下，实现高性能、低功耗的神经网络加速是当下需解决的技术问题。

Cerebras软件平台专门为加速人工智能计算而设计，它主要包括机器学习框架、Cerebras图编译器(CGC)、高性能内核库和内核API以及支持调试和分析的开发工具。对于一个指定的深度神经网络，CGC利用XLA将TensorFlow图编译成一系列专门为给定神经网络模型生成的计算内核，并将其转化为中间表示形式。CGC将中间表示与Cerebras核库中的核进行适配，适配结果是一个描述神经网络拓扑结构的核图。核图由两部分组成，一是罗列指定神经网络中所有核的类型和输入参数，每个核执行神经网络中对应节点的特定计算任务。二是刻画核之间的连通关系，即核图是一个无环有向图。然后，CGC将计算资源分配给核图中的每个核，并将每个核映射到芯片WSE的一个矩形物理区域。最后，将每个网络的通信路径配置到fabric上。

上述编译流程中，最关键的部分是将多少计算资源分配给核图中的每个核，即要确定将描述神经网络拓扑结构核图中的每个核映射到WSE上的二维矩形计算模块的形状和位置。

核图由两部分组成，一是罗列指定神经网络中所有的核的类型和输入参数，二是刻画核之间的连通关系的连接信息。

Cerebras软件平台的核库中主要包括三种类型的核：conv、dblock和cblock，并指定其性能函数。比如核库中卷积核conv的性能函数conv.perf有11个参数，其中(H,W,R,S,C,K,T)是形式参数，它们分别指的是输入图像的高和宽(H,W)、感受野大小(R,S)、输入和输出数据(C,K)和步幅大小T，这些参数作为神经网络的输入，在编译过程中不发生改变。另外四个参数(h’,w’,c’,k’)是执行参数，它们决定核最终布局到WSE上的形状、执行时间和内存，需要通过编译求得。因此要在WSE芯片上进行布局的是形状大小可塑的矩形模块。

图库中核dblock的高、宽、时间和内存依赖于卷积核conv1、conv2、conv3的高、宽、时间和内存，核cblock依赖于conv1、conv2、conv3、conv4的。简单地，可以理解为核dblock由3个核conv组成，核cblock由4个核conv组成。