[发明专利]卷积神经网络模型的压缩方法及装置

说明书

本公开提供了一种卷积神经网络模型的压缩方法，卷积神经网络模型包括至少一个卷积层，卷积层包括多个卷积核，多个卷积核被划分为多个卷积核单元，每个卷积核单元包括至少两个卷积核；卷积核单元被划分为多个切片单元，切片单元包括至少两个切片组，切片组包括对应的卷积核的至少一个切片。该压缩方法包括：获取每个切片单元对应的目标掩码信息；利用目标掩码信息对对应切片单元的每个切片组进行稀疏化处理，以得到压缩后的卷积神经网络模型。本公开还提供了一种数据处理方法、压缩装置、数据处理装置、加速装置、电子设备及计算机可读介质。

技术领域

本公开涉及计算机技术领域，特别涉及一种卷积神经网络模型的压缩方法、数据处理方法、压缩装置、数据处理装置、卷积神经网络加速装置、电子设备及计算机可读介质。

背景技术

卷积神经网络(CNN)在生产生活中有巨大的应用潜力，但其过参数化导致其计算量过大。因此，如何有效减少CNN的计算量成为目前亟待解决的技术问题。

发明内容

本公开提供一种卷积神经网络模型的压缩方法、数据处理方法、压缩装置、数据处理装置、卷积神经网络加速装置、电子设备及计算机可读介质。

根据本公开实施例的第一方面，本公开实施例提供了一种卷积神经网络模型的压缩方法，所述卷积神经网络模型包括至少一个卷积层，所述卷积层包括多个卷积核，每个所述卷积核包括多个与输入通道对应的切片，多个所述卷积核被划分为多个卷积核单元，每个所述卷积核单元包括相邻的至少两个所述卷积核；针对每个所述卷积核单元，该卷积核单元沿卷积核的输入通道的延伸方向被划分为多个切片单元，每个切片单元包括至少两个切片组，该切片单元的所述切片组与对应的该卷积核单元的卷积核一一对应，所述切片组包括对应的卷积核的至少一个切片；

所述压缩方法包括：获取每个所述切片单元对应的目标掩码信息；利用所述目标掩码信息对对应切片单元的每个所述切片组进行稀疏化处理，以得到压缩后的所述卷积神经网络模型。

在一些实施例中，在得到压缩后的所述卷积神经网络模型之后，所述压缩方法还包括：将压缩后的卷积神经网络模型中所有未被稀疏掉的权重存储至预设的权重缓存器中。

在一些实施例中，对于包含未被稀疏掉的权重的切片组，该切片组的所有未被稀疏掉的权重包括至少一个权重组，该权重组包含沿输入通道的延伸方向依次设置的映射位置相同的至少一个权重，该至少一个权重中每个权重对应该切片组中的一个切片；所述权重缓存器包括多个存储单元，每个存储单元对应存储一压缩后的卷积核单元，所述存储单元包括阵列排布的多个内存区，每一列内存区对应存储所在存储单元对应的卷积核单元的一个卷积核；在每一列内存区中，对应的卷积核的沿输入通道的延伸方向依次设置的各切片组，沿列方向依次存储于该列内存区中；在每一列内存区中，针对对应的卷积核的每个切片组，该切片组的各权重组沿列方向依次存储于该列内存区的各内存区中，且该列内存区的每一内存区对应存储该切片组的一个权重组；位于同一行内存区的各权重组，在各自对应的切片组上的相对位置对应相同；在每个内存区中，对应的权重组中沿输入通道的延伸方向依次设置的各权重，以存储地址依次递增的方式连续存储于该内存区；且沿行方向上依次设置的各内存区的存储地址依次递增，沿列方向上依次设置的各内存区的存储地址依次递增。

在一些实施例中，存在至少两个所述切片单元所对应的所述目标掩码信息不同。