[发明专利]用于表示神经网络中的稀疏矩阵的装置和方法

说明书

本公开涉及一种用于表示神经网络中的稀疏矩阵的装置和方法。在一些实施例中，示例性的操作单元包括：缓冲器，用于存储神经网络中的稀疏矩阵的表示；稀疏引擎，与所述缓冲器通信耦合；处理阵列，与所述稀疏引擎通信耦合，并包括使用稀疏矩阵执行神经网络的电路。所述稀疏引擎包括执行以下操作的电路：从所述缓冲器读取稀疏矩阵的表示，该表示包括第一级位图、第二级位图和元素数组；解压缩第一级位图以确定稀疏矩阵的每个块是否包括非零元素；以及响应于块包括非零元素，使用元素阵列解压缩第二级位图以获得稀疏矩阵的包括非零元素的块。

本公开要求申请号为16/783,069，于2020年2月5日提交的美国申请的优先权，并通过引用并入本文。

背景技术

现今的神经网络往往包含多个节点和多个层，然而，这降低了执行效率并增加了延迟。由此，对神经网络提出了输入稀疏性、输出稀疏性、权重稀疏性或以上的组合，以提高执行效率并减少延迟。的确，人工神经网络的稀疏性能更准确反映人脑中的神经元是如何处理信息的。但神经网络中的稀疏矩阵会导致存储和计算效率的显著降低。例如，它们需要不必要的大量存储空间，这些存储空间大部分被零元素占用。此外，对稀疏矩阵的计算涉及到大量的对零元素的不必要操作(如加法和乘法)。

发明内容

在一些实施例中，示例性的操作单元包括用于存储神经网络中的稀疏矩阵的表示的缓冲器、与缓冲器通信耦合的稀疏引擎以及与稀疏引擎通信耦合的处理阵列。稀疏引擎包括执行以下操作的电路：从缓冲器读取稀疏矩阵的表示，稀疏矩阵的表示包括第一级位图、第二级位图和元素数组；解压缩第一级位图以确定稀疏矩阵的每个块是否包括非零元素；以及响应于块包括非零元素，使用元素数组解压缩第二级位图以获得稀疏矩阵的包括非零元素的块。处理阵列包括用于使用稀疏矩阵执行神经网络的电路。

在一些实施例中，示例性的处理核包括本地存储器和与本地存储器通信耦合的操作单元。所述操作单元包括用于存储神经网络中的稀疏矩阵的表示的缓冲器、与缓冲器通信耦合的稀疏引擎以及与稀疏引擎通信耦合的处理阵列。稀疏引擎包括执行以下操作的电路：从缓冲器读取稀疏矩阵的表示，稀疏矩阵的表示包括第一级位图、第二级位图和元素数组；解压缩第一级位图以确定稀疏矩阵的每个块是否包括非零元素；以及响应于块包括非零元素，使用元素数组解压缩第二级位图以获得稀疏矩阵的包括非零元素的块。处理阵列包括用于使用稀疏矩阵执行神经网络的电路。

在一些实施例中，示例性的执行神经网络的方法包括：读取稀疏矩阵的表示，稀疏矩阵的表示包括第一级位图、第二级位图和元素数组；解压缩第一级位图以确定稀疏矩阵的每个块是否包括非零元素；以及响应于块包括非零元素，使用所述元素数组解压缩第二级位图以获得稀疏矩阵的包括非零元素的块；使用稀疏矩阵执行神经网络。

在一些实施例中，示例性的非暂时性的计算机可读存储介质存储一组指令，该组指令由一个或多个处理设备执行时，使得操作单元执行一种方法，该方法包括：读取神经网络中的稀疏矩阵的表示，稀疏矩阵的表示包括第一级位图、第二级位图和元素数组；解压缩第一级位图以确定稀疏矩阵的每个块是否包括非零元素；响应于块包括非零元素，使用元素数组解压缩第二级位图以获得稀疏矩阵的包括非零元素的块；和使用稀疏矩阵执行神经网络。

本公开的其他特征和优点，部分地将在以下描述中详细说明，部分地将基于描述是显而易见的或者在本公开实施例的实践中学习得到。本公开的特征和优点将通过所附权利要求中特别指出的元素和组合来实现和获得。

应当理解，上述一般描述和以下详细描述仅是示例性和解释性的，并不限制本公开实施例。

附图说明

构成本公开的一部分的附图用于说明多个实施例，并与描述一起解释本公开实施例的原理和特征。在图中：

图1A是根据本公开的一些实施例提供的一示例性的对神经网络中的矩阵进行稀疏化的示意图；

图1B是根据本公开的一些实施例提供的另一示例性的对神经网络中的矩阵进行稀疏化的示意图；