[发明专利]使用激活数据的压缩和解压缩来减少存储器带宽利用率的神经网络处理器

说明书

深度神经网络(“DNN”)模块可以压缩和解压缩神经元生成的激活数据，以减少存储器总线带宽的利用率。压缩单元可以接收由DNN模块中的神经元生成的未压缩数据块。压缩单元生成压缩输出块的掩码部分和数据部分。掩码部分对未压缩数据块中的零字节和非零字节的存在和位置进行编码。数据部分存储来自未压缩数据块的截断的非零字节。解压缩单元可以从DNN处理器中的存储器或应用主机的存储器中接收压缩数据块。解压缩单元使用掩码部分和数据部分对压缩数据块进行解压缩。这可以减少存储器总线利用率，允许DNN模块更快地完成处理操作，并降低功耗。

背景技术

在诸如人脑的生物神经系统中的信息处理和通信模式之后，对深度神经网络(“DNN”)进行松散建模。DNN可以被利用来解决复杂的分类问题，诸如但不限于对象检测、语义标记和特征提取。结果，DNN形成了用于诸如计算机视觉、语音标识和机器翻译之类的许多人工智能(“AI”)应用的基础。DNN在这些领域中的许多领域中都可以匹配甚至超过人类的准确性。

DNN的高级性能源于它们在对大数据集使用统计学习以获得输入空间的有效表示之后从输入数据中提取高级特征的能力。但是，DNN的卓越性能是以高计算复杂度为代价的。诸如图形处理单元(“GPU”)之类的高性能通用处理器通常被利用来提供许多DNN应用所需的高水平计算性能。

尽管像GPU之类的通用处理器可以为实现DNN提供高水平的计算性能，但是这些类型的处理器通常不适合在低功耗至关重要的计算设备中长时间执行DNN操作时使用。例如，诸如GPU之类的通用处理器可能不适合在像智能电话或交替/虚拟现实(AR/VR)设备之类的电池供电的便携式设备中执行长时间运行的DNN任务时使用，其中需要降低功耗以延长电池寿命。

在执行诸如人体移动的检测之类的连续DNN任务时，降低功耗在诸如以太网供电(“POE”)安全相机之类的非电池供电的设备中也很重要。在该特定示例中，POE交换机只能提供有限的电量，并且降低如安全相机之类的POE设备的功耗允许使用提供更少功率的POE交换机。

已经开发出可以提供高性能DNN处理、同时与通用处理器相比降低了功耗的专用集成电路(“ASIC”)。但是，尽管在该领域取得了进步，但仍然需要提高执行DNN处理的ASIC的性能并降低其功耗，尤其是对于在低功耗至关重要的计算设备中使用。

关于这些和其他技术挑战，提出了本文进行的公开。

发明内容

公开了一种DNN模块或处理器，其可以压缩和解压缩激活数据以减少存储器总线带宽的利用率。特别地，DNN模块可以利用压缩来减少神经元输出与板载(on-board)存储器或非板载(off-board)存储器之间的总线带宽的利用率。DNN模块还可以利用解压缩来减少板载存储器或非板载存储器与神经元输入之间的存储器总线带宽的利用率。减少的带宽利用率可以使得能够加快处理，并且因此还可以降低功耗。还可以通过所公开的主题的实现来实现本文未具体提及的其他技术益处。

为了实现上面简要提及的技术益处，公开了一种DNN处理器，其包括一个或多个神经元和压缩单元。压缩单元可以接收由一个或多个神经元生成的未压缩数据块。在一些实施例中，未压缩数据块包括固定数目的字节，诸如64个字节。

为了对未压缩数据块进行压缩，压缩单元可以生成压缩输出块的掩码部分和数据部分。压缩输出块的掩码部分包括与未压缩数据块中的字节的固定数目相等的数目的比特。例如，如果未压缩数据块包括64个字节的数据，则掩码部分将包括64个比特(即8个字节)。

在一些实施例中，压缩输出块的掩码部分中的每个比特对应于未压缩数据块中的一个字节。例如，掩码部分的比特一可以对应于未压缩数据块中的第一个字节，掩码部分的比特二可以对应于未压缩数据块中的第二个字节，依此类推。在其他实施例中，压缩输出块的掩码部分中的两个或更多比特对应于未压缩数据块中的一个字节。在这些实施例中，压缩输出块的掩码部分中的比特不仅可以指示未压缩块中的对应字节，还可以指示其近似量级。