[发明专利]三维卷积神经网络卷积层的处理方法和处理装置

说明书

本申请提供一种三维卷积神经网络卷积层的处理方法，用于三维卷积神经网络卷积层的处理装置，所述处理装置包括乘加计算阵列、累加器，所述处理方法包括：配置所述三维卷积神经网络中卷积核的个数为K；配置所述三维卷积神经网络中卷积核和输入特征图的通道数均为C；展开所述卷积核/输入特征图的通道维度以及卷积核的数量维度，完成三维卷积神经网络中卷积层的计算。

技术领域

本申请涉及神经网络领域，具体涉及一种三维卷积神经网络卷积层的处理方法和处理装置。

背景技术

随着深度学习领域研究的深入，其相关算法在数字图像处理、语音识别、自然语言处理等诸多领域日益蓬勃。三维卷积神经网络是深度神经网络的一个分支，相比于二维的神经网络，它可以适应更高维度、更复杂的数据处理，譬如视频分类、医疗图像分割、点云数据处理等。

三维卷积神经网络的优秀性已经逐步得到认可，但其巨大的计算量和数据量也限制了它的应用，因此有效地在硬件端映射三维卷积网络成为了三维卷积神经网络的研究趋势之一。其中，由于卷积层占据了整个三维卷积网络百分之九十以上的计算，因此高效地处理卷积层尤为重要。

发明内容

本申请旨在提供一种三维卷积神经网络卷积层的处理方法和处理装置，通过减少卷积核和输入特征图平铺维度的数量，仅在装置上平铺映射了卷积核和输入特征图的通道维度和卷积核的数量维度，相对于全维度的平铺映射，提高了卷积核数据的重用性，从而降低了从内存中读取数据的功耗开销，因此大大降低了整体硬件面积的开销和功耗。

根据本申请的一方面，提供一种三维卷积神经网络卷积层的处理方法，用于三维卷积神经网络卷积层的处理装置，所述处理装置包括乘加计算阵列、累加器，所述处理方法包括：

配置所述三维卷积神经网络中卷积核的个数为K；

配置所述三维卷积神经网络中卷积核和输入特征图的通道数为C；

展开所述卷积核/输入特征图的通道维度以及卷积核的数量维度，完成三维卷积神经网络中卷积层的计算。

根据一些实施例，所述方法包括：

所述展开所述卷积核和输入特征图的通道维度以及卷积核的数量维度完成三维卷积神经网络中卷积层的计算，包括：

设置所述乘加计算阵列为K×C个计算单元构成，其中，所述乘加计算阵列的行数K为三维卷积神经网络中卷积核的个数，列数C为三维卷积神经网络中卷积核和输入特征图的通道数。

根据一些实施例，所述方法包括：

所述展开所述卷积核和输入特征图的通道维度以及卷积核的数量维度完成三维卷积神经网络中卷积层的计算，还包括：

设置所述计算单元包含两个存储单元和一个乘法器，所述两个存储单元分别存储当前计算周期参与计算的卷积核数据和输入特征图数据，所述乘法器将所述卷积核数据和所述输入特征图数据进行相乘。

根据一些实施例，所述方法包括：

所述展开所述卷积核和输入特征图的通道维度以及卷积核的数量维度完成三维卷积神经网络中卷积层的计算，还包括：

在每个计算周期将所述输入特征图每个通道的一部分数据和所述卷积核每个通道的一部分数据输入所述乘加计算阵列进行计算；

在每个计算周期将每一行的C个所述乘法器产生的乘法结果相加，生成第一乘加结果；

在经过N个所述计算周期后，将产生的N个所述第一乘加结果进行相加，得到最终的乘加结果，其中N为所述输出特征图的高度、宽度、深度的乘积。

根据一些实施例，所述方法还包括：

将所述卷积核/输入特征图的通道数进行分组，依次按照分组输入所述乘加计算阵列进行计算。